Transcript 이미지 및 동영상에 포함된 텍스트 정보 추출에 기반한 지능적 시각

이미지 및 동영상에 포함된
텍스트 정보 추출에 기반한 지능적 시각
응용시스템 구현에 관한 연구
뇌신경정보학 2단계 자유공모과제
(M10107000009-01A220000500)
연구책임자: 최영우
숙명여자대학교 컴퓨터과학과
차례
연구 배경
연구 목표
어려움/가능성
관련 연구
추진 계획
연구 내용
기대성과/활용방안
2
연구 배경(1)
 텍스트 정보는 가장 기본적이며 중요한 정보
 지식 표현 및 습득의 기본
 이미지 내용을 함축적, 구체적으로 표현
 다른 객체보다 특징이 분명하여 빠른 추출이 가능하고 산업성이
높음
 텍스트 종류
 문서(Document) 텍스트
 그래픽(Graphic) 텍스트: 인위적으로 삽입한 자막
• 헤드라인, 이름, 시간, 스포츠 점수 등
 장면(Scene) 텍스트: 자연스럽게 포함된 이미지의 일부
• 간판, 안내 표지판, 광고, 화물/물건 코드, 차량 번호 등
3
연구 배경(2)
 그 동안 수동적, 이미지 위주의 정형화된 문서/그래픽 텍
스트 정보 추출
 OCR, 문서 인식시스템
 이미지/비디오 검색시스템
 앞으로 능동적, 동영상에서의 다양한 장면 텍스트 정보
추출
 이동 로봇시스템
 시각장애인/환자 보조시스템
 차량 자동주행시스템, 차량 번호판조회시스템
 공장/창고자동화: 무인 분류/이동
 비디오 검색시스템
4
장면 텍스트 예
5
연구 목표
이미지/동영상에 포함된 다양한 종류의 장면
텍스트를 빠르고 정확하게 추출
 다양한 종류: 폰트 종류, 위치, 방향, 크기, 색, 배경에 무관
 빠르고 정확한 추출: 사용자의 불편함을 최소화 시키는 관점
에서의 기준 설정
지능적 시각 응용시스템에 적용
 이동 로봇시스템
 시각장애인/환자 보조시스템
 차량 자동주행시스템
6
어려움 및 가능성
어려움
객체 추출 및 인식 관점: 장면 텍스트
• 자유로운 위치, 크기, 색, 간격, 다양한 폰트 등
• 기울어짐, 원근감 존재
• 조명, 기상 여건, 시간대에 따른 이미지 수준의 차이
실시간 처리 필요
 가능성
객체 추출 및 인식 관점
• 다른 객체에 비해 비교적 강한 규칙성(특징) 존재
• 꾸준한 문자인식 기술 개발 결과 활용 가능
하드웨어 기술과 처리 기술의 지속적인 발전
7
관련 연구
연구자
김희승[2000]
대상
방법
디지털 카메라 몰포로지, 공간적
이미지
변화 이용
제약 조건
적절한 조명, 기울지 않
은 텍스트
Lee,
Kankanhalli[95]
화물 콘테이너
명도 이미지
Thresholding, 수평방향, 고립된 콘테이
Region growing
너 코드 텍스트
Smith,
Kanade[95]
비디오 이미지
자막
에지 정보
수평방향 텍스트
A. K. Jain[95]
CD/책 표지
이미지
색 정보, 공간 편
차 정보
수평방향, 균일한 색, 제
한된 크기의 텍스트
A. K. Jain [98]
CD/책 표지,
비디오 이미지
색 정보
수평방향, 균일한 색, 제
한된 크기의 텍스트
Doermann[98]
비디오 이미지
Texture 정보,
Wavelet, 신경회
로망 이용
수평방향, 균일한 색, 제
한된 크기의 텍스트
8
추진 계획
1차년: 텍스트 영역 추출
다양한 동영상 데이터 수집
색 이미지, 명도 이미지 분석
검증 방법 개발
2차년: 텍스트 영역 확정 및 질 개선
후보영역 병합/여과 방법 개발
이미지 개선 방법 개발
3차년: 응용시스템 구현
텍스트 인식
시스템 구현, 보완
9
연구 내용: 1차년
 텍스트 영역 추출
응용 환경을 고려한 동영상 데이터 수집
• 이미지 샘플링 방법 개발
색 이미지 분석: 텍스트의 색 연속성 이용
• 색 줄임: Bit-dropping, 색 묶음(Clustering) 수행
• 각각의 색 이미지에서의 연결요소 추출
• 연결요소 제거 및 병합 방법 개발
명도 이미지 분석: 텍스트 영역의 공간 주파수 특징 이용
• 이미지 향상 수행, 에지 검출
• 긴 선 추출 및 제거, 텍스트 영역 강조 방법 개발
검증
• 영역 특징 추출, 신경회로망 분류 방법 이용
10
 색 이미지 분석 예
색 이미지
색 줄임
i 번째 색 분석
후보영역 선정
(9개 색)
(4개 색)
11
 명도 이미지 분석 예
명도 이미지
에지 추출
긴 선 추출/제거
텍스트 영역 강조
12
연구 내용: 2차년
 텍스트 영역 확정 및 질(質) 개선
후보 영역 병합/여과 방법 개발
• 색 이미지와 명도 이미지에서 선택한 후보 영역의 상호 보
완 및 검증 연구
• 병렬(Parallel) 및 순차적(Serial) 병합/여과 방법 개발
• 응용 환경의 요구(처리시간, 정확성)에 따라 선택적 적용
이미지 개선 방법 개발
•
•
•
•
성공적인 인식을 위해서는 이미지 개선 과정이 필수임
획 정보를 고려한 고급 이진화 방법 개발
기울어짐, 원근 보정 방법 개발
잡영 제거 필터 개발
13
연구 내용: 3차년
 응용시스템 구현
텍스트 인식
• 상용 OCR 결합, 성능 평가
• 후처리(폰트 정보, 영역 지식 표현 등) 기술을 이용한 인식
성능 개선
시스템 구현, 보완
• 프로그램 소형화, 최적화 수행
• 현장 시연 및 문제점 보완
14
기대성과/활용방안
기대성과
고난도 기술의 개발: 텍스트 추출의 최종 단계 기술
지능적인 시각 기반 응용분야의 확대 및 활용
연구 인력 양성
활용방안
응용시스템 구축
• 시각기반 이동 로봇시스템
• 시각장애인/환자 보조시스템
• 차량 자동주행시스템
산업체 협력: 연구개발 2차년 후반기 예정
15