Transcript MPEG-7 Tool의 형태

웹 멀티미디어 컨텐츠 검색 방법
0278193 신은정
개요
1.
2.
3.
4.
5.
멀티미디어 정보검색
메타데이터
MPEG-7
XML
내용기반 정보검색
1. 멀티미디어 정보검색
특징 : 검색 어려움, 검색시간 많이 소요됨
 내용기반 정보검색
(Content-based Information Retrieval)
 MPEG-7
 멀티미디어 정보를 일반 사용자들이 검색해서
유용하게 활용할 수 있으려면?





자연스러운 사용법
사용자의 의도가 잘 반영될 수 있어야.
짧은 검색시간
검색결과 중 필요한 정보를 쉽게 판별 가능해야.
2. 메타데이터
1) 뜻
- 데이터에 대한 데이터
- 컨텐츠에 관한 설명 데이터
2) 장점 : 검색ㆍ관리 용이
3) 포맷과 저장
- 포맷 : XML
- 저장 : 맵핑 정보 테이블
(메타데이터와 해당 웹 컨텐츠의 위치 정보를
맵핑 정보테이블에 저장함)
MappingID
MetaDataID
ContentType
ContentID
맵핑ID
메타데이터ID
컨텐츠타입
컨텐츠ID
3. MPEG-7






메타데이터의 표기 방식 중의 하나.
데이터 그 자체가 아닌 멀티미디어 데이터 내용을
표현하는 방법에 관한 표준
멀티미디어 정보검색이나 활용을 위해 멀티미디어
의 ‘내용‘인 컨텐츠와 관련 정보를 메타데이터로
표현함
XML언어를 이용한 텍스트 방식으로 표기
장점: 별도의 도구 없이도 컨텐츠의 내용파악 용이
단점: 방대한 내용과 저장용량 : 유지관리 비용 多
3. MPEG-7

표준화의 대상
① 기술자(D : Descriptor(element))
② 기술 구조
(DS : Description Schemes(structure))
③ 기술정의언어 : XML
(DDL : Description Definition Language)
④ 부호화 방식 : binary
(Coded Representation)
4. XML
메타데이터의 표현 포맷
 MPEG-7에서 사용하는 언어
 웹 상에서 구조화된 문서를 효율적으로 처리하도
록 설계된 데이터 형식
 XML의 핵심 : 사용자가 새로운 태그를 정의할 수
있는 기능
 인터넷에서 기존에 사용하던 HTML의 한계를 극
복하고 복잡함을 해결하는 방안
cf. HTML

5. 내용기반 정보검색
(Content-based Information Retrieval)

미디어의 내용에 근거하여 미디어 정보를 추
출하는 방법
: 주어진 멀티미디어 데이터에서 색,질감,모양과 같은
속성(feature)들을 자동으로 추출하고
이를 기반으로 검색하는 방법.

필요성 : 멀티미디어 데이터의 특성



다양한 형태의 데이터들로 구성됨
방대한 데이터의 크기
주안점 : 효과적ㆍ효율적 정보검색
: ‘원하는 데이터를
얼마나 정확하고ㆍ빠르게 찾을 수 있는가’

내용 기반 질의



멀티미디어 데이터로부터 내용에 해당되는 속성을 자
동으로 추출 하는 시스템의 기능을 이용하기 때문에
사람이 일일이 주석을 할 필요가 없으므로 주석 기반
검색의 문제점을 해결할 수 있다.
논리적으로 정확하게 표현될 수 없으므로, 속성 측면
에서 정의된 정보 필터를 이용하여 질의를 하고,유사
성에 기반을 둔 탐색을 한다.
유사한 모든 것이 반드시 찾고자 하는 자료는 아니기
때문에 질의 결과 중 사용자가 원하지 않는 결과들을
수동적으로 제거할 수 있고 사용자와 검색 시스템 간
에 상호 대화를 지원해 줄 수 있는 인터페이스가 필
요하다.
접근 방법 및 해법
검색대상
상위 레벨 내용 하위 레벨 내용
내용
의미 정보들
장점
좀더 자연스런
질의 가능
키워드, 형태, 색,
크기, 위치, 방향성,
멜로디 등
시스템이 자동으로
검색 가능
단점
사용자의 개입
필요
사용자 질의가 부자
연스러움
멀티미디어 데이터의 구분

① 오디오 데이터
(음성ㆍ음향정보를 포함)
 ② 정지 영상 데이터
(사진ㆍ그래픽들을 포함)
 ③ 동영상 데이터 (비디오를 포함)
>> 내용 기반 검색 기법을 이러한 세 가지
데이터와 연관시켜 분류하고자 한다.
3-1) 오디오 데이터에 대한 내용기반 검색




① 브라우징을 통한 검색 방법
② 인덱스를 통한 검색방법
㉠ 오디오의 음향이나 음악 등을 분석
하여 특징벡터로 인덱스를 만든 후 사용
자가 멜로디나 음향 효과로 질의를 하여
원하는 곡을 찾는 방법
㉡ 오디오내의 음성을 인식하여 키워드
기반의 인덱스를 만든 후 사용자가 질의
를 음성이나 텍스트로 해주는 방법
3-2) 정지 영상 데이터에 대한 내용기반 검색




영상의 색, 질감, 형태 등의 특징 사용
① 자동추출된 영상의 특징들이 영상화 함께
인덱싱되어 DB에 저장됨
② 사용자의 내용 기반 질의 : 사용자는 질의
로 원하는 색이나 질감 등을 포함하는 영상을
요청하거나 원하는 영상의 모양을 스케치하는
방식으로 내용 기반 질의를 할 수 있다.
③ 질의 결과 : 정확한 영상이 반환되기보다는
요청한 영상과 비슷한 이미지들의 집합이 반환
된다
3-3) 동영상 데이터에 대한 내용기반 검색

필요한 기술




비디오 파싱기법
사용자 인터페이스
비디오 데이터 압축 및 저장 방법
동영상에서 내용검색을 하기 위해 사용할 수
있는 정보들에 따라 내용기반 검색 기법들을
분류



영상정보
문자정보
오디오 정보
1.
2.
3.
4.
영상의 정보만을 사용한 내용기반 검색
문자정보 또는 영상과 문자정보를 함께
사용한 내용기반 검색
오디오 정보 또는 영상과 오디오 정보
를 함께 사용한 내용기반 검색
영상, 문자, 오디오정보를 사용한 내용
기반 검색
ex) IBM “Marvle”

관련기사 : 멀티미디어 검색「꿈이 아니다」
(2004.10.2. ZDNet Korea)
 현재 인터넷 상에서

간단하게 찾을 수 없는 비
디오·오디오 데이터를 검색하기 위한 기술
기존 검색엔진 : 수작업 주석 필요
: 시간ㆍ노동력 소모多, 분류할 정보량의 폭발적 증가


텍스트나 수작업의 주석부 없이도 컨텐츠 검색
가능케
내용을 나타내는 수식 어구를 사용해 동영상을
자동적으로 분류가능케

ex)'옥외','옥내','거리의 풍경','엔진의 노이즈' 등
ex) 네이트닷컴 “Tong”

관련기사 : 네이트닷컴 검색,‘DB차별화’선언


네이트닷컴, 통 검색 오픈..검색戰 합류



(2005.5.3. 연합뉴스 보도자료)
(2005.5.3. 머니투데이)
이미지 사운드 동영상을 별도의 카테고리에서
검색할 수 있어 통 내 뮤직비디오 드라마 음악
등 각종 자료에 쉽게 접근 가능
통 검색과 싸이월드 검색의 연계로 사진 이미
지를 비롯해 음악 동영상 등 멀티미디어 검색
기능이 한층 강화됨
ex) 구글의 이미지검색

관련기사 : 검색엔진의 기린아 ‘구글’



(2005.5.16.ZDNet Korea)
결과에 대하여 미리 보기를 구현하는 최
초의 검색 엔진 중 하나
크기, 색깔, 파일 형태와 도메인에 의해
이미지를 구별하는 능력에서 앞선다.
ex) 온라인 음악 검색

관련기사 : 검색 전쟁 "이젠 온라인 음악이다
"(2005.5.16. 아이뉴스24)





야후 : 방송사업자들과 상세한 메타 데이터 정보 접
근을 위한 계약 체결
MSN : MSN 뮤직 스토어
음반회사들 : 음반 출시 때부터 각종 메타 데이터를
충실하게 정리중
메타데이터가 많을 수록 검색 정확도를 높일 수 있다
온라인 음악 관련 메타 정보 표준화 시급
ex) 동영상 검색

관련기사 : 구글-MS-야후, '이젠 동영상
검색이다‘(2004.11.30. 아이뉴스)



구글 : 인터넷상에 있는 오디오 파일의 원고
처리 작업 / 자막처리
MS : 메타태그
“동영상 검색시대"…야후-블링스 등 서
비스 개시

(2004.12.16. 아이뉴스24)