Transcript An Integrated and Content -Based Solution

Video Parsing, Retrieval and Browsing :
An Integrated and Content -Based
Solution
석사 2학기 오유진
I. 서론
VOD
VCR 제어에만 조작이 한정되어 있다.
비디오 자료들은 구조화 되어있지 않다.\
개선점
 구조화되어야 함
융통성 있는 검색
원자료의 주제적 속성 때문에 브라우징 기능 필요
Parsing
비디오 프로그램을 시간적으로 분할하여
요소단위로 만든다 : 많은 알고리즘이 사용
비디오와 오디오의 의미적 프리미티브를
기반으로 요소단위들의 내용추출
자동화된 내용추출은 어려움 :신호 분석과 지
식 표현 기법 요구
낮은 수준의 시각적 특징을 이용
동영상 색인
브라우징과 검색을 위한 전제
1)텍스트 기반
2) 시각적인 특징 기반
낮은 수준 이미지 특징 : 방대한 양이 문제점
키 프레임 색인으로 극복
오브젝트와 이벤트를 기반한 의미적 특징
브라우징
VCR :ff(fast forward), fr(fast reverse)
중요한 비디오 내용이 빠질 수 있음
: 파싱을 통해 강력한 브라우징 가능
여기서는 파싱, 검색, 브라우징 기능을 통합
한 시스템을 제시한다.
2.비디오 파싱 : 분할과 압축
2.1 시간적 분할과 카메라 조작 검출
시간적 분할 : 연속하는 카메라 샷 사이의
경계를 감지하는 것이 문제
카메라 브레이크(컷)뿐만 아니라 점진적인 변
화도 검출 가능
압축된 비디오:직접적으로 분할하는 것이 유
리
DCT계수, 움직임 벡터는 유용한 특징
카메라 조작과 두드러진 오브젝트 움직임을
포함한 프레임들 식별 가능
2.2자동화된 비디오 압축
: 키 프레임 추출
비디오가 압축되었을 때는 검색의 목적으
로 모든 프레임 색인, 저장에는 바람직하지
않음
그러나 각각의 세그먼트를 대표하기 위해
abstraction( 압축)은 필요
추출 : 키 프레임과 각각의 세그먼트를 매핑
하는 문제
키 프레임
키 프레임의 사용
색인 구축
검색 질의
브라우징 목적으로 디스플레이
저장 공간이 부족할 경우 이들만 온라인으로
관리
키 프레임은 의미적으로 중요한 프레임을 선
택해야 하나, 아직 그 단계까지는 아니다.
낮은 수준의 이미지 특징
색상 특징
색상 히스토그램, 색상 모멘트, 대표 색상
압축의 경우 이들 특징은 DCT계수를 사용
 움직임
카메라 조작, 큰 움직이는 물체에서 나온 대표
움직임 요소
움직임은 내용변화의 indicator역할
키 프레임 추출과 분할의 통합
모든 샷의 첫번째 프레임이 키 프레임이 되
는 경우도 있음
키 프레임 밀도를 사용자가 제어 가능
디폴트는 각 샷에서 두개 정도 인데, 샷의
첫번째와 마지막 프레임 사용
2.3실험 결과
동물발자국 1
동물발자국 2
싱가포르
:거의 정확하게 샷을 검출
Dance : 샷 검출 결과 낮다.
샷검출이 잘 안되더라도 키 프레임의 추출을 통
해 이를 보완
SBC에서의 실험
3. 샷 기반 표현과 유사성
표현 프리미티브를 식별하고 계산하여 이
것을 기반으로 내용샷을 색인, 비교, 분류함
방법
키프레임들을 기반으로 한 프리미티브
시간적 변화와 움직임 정보를 기반으로 한 프
리미티브
3.1 키 프레임 특징을 기반으로 한
샷 내용의 대표
3.1.1 색상 특징
매우 다른 오브젝트가 유사한 색상을 갖는
경우는 드물다. 따라서 검색 시스템에서 월
등한 식별 능력을 갖는다.
색상 히스토그램
대표 색상
색상 모멘트
평균 명도
3.1.2 텍스쳐 특징
Tamura 특징
SAR 모델
유사성
3.1.3 형태 특징
키 프레임의 대표 오브젝트는 형태에 의해
잘 표현된다.
3.1.4 에지 특징
소벨 필터를 이용하는 이미지에서 나온 에
지는 내용에 대한 좋은 실마리를 제공한다.
소벨 필터 : 에지검출 방법 중 가장 보편적
인 방법은 소벨에 의한 것으로 에지는 1로,
그 이외의 픽셀은 0으로 표시한다. 이미지
를 0과 1의 이진 데이터로 표시한 후 1로 연
결된 점을 분석하여 에지를 검출한다.
3.2 샷 내용의 표현을 위한 시간적
특징
키 프레임이 비디오의 시간적 속성을 무시
하는 경향이 있다 : 이벤트 기반 분류와 검
색이 힘듬
카메라 조작
명도와 컬러의 시간적 변화
두드러진 정지 화상
다른 특징들
4.내용 기반 검색과 브라우징
4.1 비디오 샷의 내용 기반 검색
질의 수행
키 프레임 특징
시간적 샷 특징
키 프레임 특징과 시간적 샷 특징의 혼합
:종래의 검색 시스템보다 효율적임
4.1.1 키 프레임 기반 검색
유사성에 따라, 질의와 비슷한 키 프레임을
식별
시각적 템플리트에 의한 질의
4.1.2 샷 기반 검색
보기에 의한 질의
시간적 특징과 키 프레임 특징을 사용
4.2 내용 기반 비디오 브라우징
이 시스템의 브라우징 도구들의 독특성 :
분할 경계, 카메라 조작, 키 프레임을 포함한
비디오 파싱에서 얻은 내용 정보의 이용
브라우징 도구
순차 접근
랜덤 접근 : 계층적 브라우징
overview level granularity, detailed
granularity 제공
브라우징 종류
순차 접근 브라우징 : VCR 재생
overview : 키 프레임만 재상
detailed : 정상적인 재생과 ‘프리즈’기능 설정
랜덤 접근 : 계층 브라우저 사용
5. 결론
전통적인 텍스트 기반 검색이 아직도 사용
되고 있지만 이와 같은 시스템이 점차적으
로 많이 이용될 것이다.
이벤트 기반 특징 추출을 위한 더욱 강력한
알고리즘이 개발 중임