Transcript 뇌정보처리 메카니즘에 기반한 인공시각시스템 연구

뇌정보처리 메카니즘에 기반한
인공시각시스템 연구
양현승
KAIST 전자전산학과
뇌과학연구센터(BSRC)
목차
• 연구의 개요
– 연구 목표
– 분야 구성 및 내용 요약
• 연구 내용 및 결과
–
–
–
–
–
대상 시각
공간 시각
능동 시각
시각 칩
응용시스템
개요
뇌의 시각 정보처리 특성
• 시각정보 처리의 유연성
• 실세계 다양한 환경 변화에 대한 뛰어난 적응력
• 다양한 시각정보의 효율적 통합 능력
• 대량 시각 정보의 모듈화 및 선별적/병렬적 처리 능력
뇌 시각 정보처리의 장점을
인공시각 기술에 도입
최종 연구 목표 (1)
 뇌 시각신경계 처리경로
 인지심리학적 시각연구
뇌 시각정보처리 기제 이해/모델
3차원 공간인지
(spatial vision)
3차원 대상시각
(object vision)
 3차원 공간 인지
( depth, motion)
 3차원 물체 인식
 얼굴 인식
통합 인공시각
모델/시스템
 윤곽선 검출 칩
 움직임 검출 칩
능동시각
(active vision)
시각 칩
 능동적 시각정보 획득
 안구운동, 선택적 정보처리
 복잡한 실세계 환경에서 동작
 강인한 3차원 공간/대상 인식
 안구운동기반의 효율적정보선택
응용 시스템
 능동형 물체추적 응용시스템
 스테레오비젼 응용시스템
 휴먼 로봇용 인공시각시스템
최종연구 목표 (2)
응용시스템
대상시각
안구운동
- What pathway 및 얼굴인식 기제
- 3D 물체인식 모델
- 얼굴인식 모델
- 특징추출/영역분할
- 인식성능 향상을 위한 추적 기술
특징추출
Gray / Edge
Color
시각 칩
- 움직임 검출 칩
- 윤곽선 검출 칩
- 물체 검출/인식
- 얼굴 검출/인식
Human
Robot
공간시각
Motion/Depth
Saccade &
Vergence
controller
3차원 물체인식
신경망 모델
Attention
- Where pathway 기제
- 양안 시각
- 움직임 인지
- 결정보 분석
- 공간 주의
능동시각
- 능동적 시각정보 획득 및 처리
- 인간과 유사한 안구운동 시스템
- 안구 운동과 대상/공간인식 경로의
관계 모델
3D 공간인지모델
- 3D 공간재구성
- 움직임 검출/이해
눈운동기능을 갖는
능동시각 모델
- 능동시각
- 눈운동(saccadic)
- 물체추적(tracking)
Stereo
Vision
System
Object
Tracking
System
최종 연구 목표 (3)
통합 시각모델
대상 시각 기술
- 3D 물체검출/인식률 90%
(복작한 배경, 동영상)
- 얼굴검출/인식률 90%
3D 대상인식,
3D 공간지각, 능동시각
기능이 합쳐진
통합 시각 모델
프로토타입
공간 시각 기술
능동 시각 기술
통합 응용 시스템
윤곽선 검출칩
움직임 검출칩
스테레오비전 물체인식 물체추적
시스템
시스템
시스템
시각 칩
- 3차원 안구제어 모델
- 인공 안구
(부피: 300cm3 이하, 속도: 300deg/s)
(3자유도 안구운동)
-움직임 검출 칩 (256x256)
-윤곽선 검출 칩 (256x256)
(On chip 프로세싱으로 소형화)
(속도 30 fps, 수광범위 100dB 이상)
능동형 추적 시스템
-능동형 추적 응용시스템
(인간 추적 운동과 유사성 90%)
-착용형 맹인 안내 시스템
스테레오비젼 시스템
(변위 측정 정확도 0.5 pixel)
(전방 장애물 인지도 80%이상)
휴먼로봇 시각 시스템
-대상/공간/능동 시각 통합
-가사작업 및 안내
인식/스테레오/추적 기능을 갖춘
휴먼 로봇 시각 시스템
- 공간구조 정보 복원률 95%
- 이동표적 탐지/인식률 90%
(통합된 인식기 인식률 80% 이상)
연구 내용 및 추진체계
대상 시각
(Object vision)
1차년도
2차년도
3D물체 인식 모델
및 응용 기술 연구
(What pathway
모델링)
3D물체 인식 모델
및 응용 기술 개발
통합시각모델연구
3차년도
3D물체 인식 모델
보완 및 성능 평가 ,
응용 기술 개발
통합시각모델
프로토타입 개발
3D공간 인지 모델
및 응용 기술 연구
(Where pathway
모델링)
3D공간 인지모델
및 응용 기술 개발
3D공간 인지 모델
보완 및 성능 평가,
응용 기술 개발
(Active vision)
능동시각 모델
및 응용 기술 연구
(능동시각 모델링)
능동시각 모델
및 응용 기술 개발
능동시각 모델
보완 및 성능 평가 ,
응용 기술 개발
시각 칩
윤곽선 검출
칩 설계
윤곽선 검출
칩 개발
윤곽선 검출
칩 응용 기술
움직임 검출
칩 설계
움직임 검출
칩 개발
움직임 검출
칩 응용 기술
공간 시각
(Spatial vision)
능동 시각
(Vision chip)
응용시스템
(Application
System)
스테레오 비젼
응용 시스템 연구
스테레오 비젼
응용 시스템 개발
스테레오 비젼
응용시스템 보완/평가
물체추적
응용 시스템 연구
물체추적
응용 시스템 개발
물체추적
응용시스템 보완/평가
휴먼 로봇용
인식 시스템 연구
휴먼 로봇용
인식 시스템 개발
휴먼 로봇용
인식시스템 보완/평가
통합 시각모델
3D 대상인식,
3D 공간지각, 능동시각
기능이 합쳐진
통합 시각 모델
프로토타입
통합 응용 시스템
윤곽선 검출칩
움직임 검출칩
스테레오비전 물체인식 물체추적
시스템
시스템
시스템
인식/스테레오/추적 기능을 갖춘
휴먼 로봇 시각 시스템
분야별 연구 내용 (요약)
1차년도
대상 시각
(Object vision)
공간 시각
(Spatial vision)
능동 시각
(Active vision)
시각 칩
(Vision chip)
응용시스템
(Application
System)
2차년도
3차년도
3D물체인식 모델 및 응용기술 연구
- What pathway 및 얼굴인식 기제 연구
- 3D 물체인식 모델 연구
- 얼굴인식 신경망 모델 연구
- 시각피질 구조 신경망 모델 연구
- 물체 인식위한 선택적 주의 기술 연구
3D물체인식 모델 및 응용기술 개발
- What pathway 및 얼굴인식 모형 개발
- 3D 물체인식, 얼굴인식을 위한
시각피질 구조 신경망 모델 개발
- 물체 인식위한 추적 기술 개발
- 통합 시각 모델 연구
3D물체인식 모델 보완/평가, 응용기술 개발
- 3D 물체/얼굴 인식 신경망 모델 보완 및
응용기술 개발
- 시선이동을 통한 효율적 물체인식 시스템
- 공간시각.능동시각과 통합
- 통합 시각 모델 프로토타입 개발
3D공간 인지 모델 및 응용 기술 연구
- Where pathway 및 공간인지기제 연구
- 공간구조 복원 모델 연구
- 운동 탐지 모델 연구
- 주의기반 선택적 공간정보처리
모델 연구
3D공간 인지 모델 및 응용기술 개발
- Where pathway 및 공간인지 모형 개발
- 공간구조 복원 모델 개발
- 운동 탐지 모델 개발
- 주의기반 선택적 공간정보처리
모델 개발
3D공간 인지 모델 보완/평가, 응용기술 개발
- 3D 공간인지 모델 보완 및 응용기술 개발
- 운동 탐지 모델 보완 및 응용기술 개발
- 대상인식.능동시각과 통합
능동시각 모델 및 응용 기술 연구
-능동적 시각정보 획득 및 처리 연구
-안구운동의 인지신경 기제 연구
- 인간의 3차원적 시선이동 패턴 연구
- 안구운동의 3차원 동역학 모델 연구
능동시각 모델 및 응용 기술 개발
-능동적 시각정보 획득 및 처리 기술개발
- 안구운동 신호의 시각계 통합 연구
- 고속안구 운동의 제어 모델 개발
- 인공안구 적용을 위한 소형 고출력
Actuator 개발
능동시각 모델 보완/평가, 응용기술 개발
- 고속 안구 운동 제어 모델 보완 및
응용기술 개발
- 고속 운동 가능한 인공안구 개발
- 공간지각, 대상인식 기능과 통합
윤곽선 검출 칩 설계
윤곽선 검출 칩 개발
윤곽선 검출 칩 응용 기술
움직임 검출 칩 설계
움직임 검출 칩 개발
움직임 검출 칩 응용 기술
스테레오 비젼 응용 시스템 연구
스테레오 비젼 응용 시스템 개발
스테레오 비젼 응용시스템 보완/평가
물체추적 응용 시스템 연구
물체추적 응용 시스템 개발
물체추적 응용시스템 보완/평가
휴먼 로봇용 인식 시스템 연구
휴먼 로봇용 인식 시스템 개발
휴먼 로봇용 인식시스템 보완/평가
연구원 편성
총괄책임자:
양현승
책임급:
선임급:
원 급:
기 타:
계:
인공 시각
13 명
4명
54 명
3명
74 명
대상 시각
공간 시각
능동 시각
시각칩
응용 시스템
양현승
김호준
이민호
방승량
김정훈
정찬섭
김민식
남종호
이일병
이춘길
방영봉
신장규
윤의식
정명진
권인소
(양현승)
책임급: 3 명
선임급: 3 명
원 급: 20 명
기 타: 3 명
계: 29 명
책임급: 4 명
선임급: 1 명
원 급: 10 명
기 타: 0 명
계: 15 명
책임급:
선임급:
원 급:
기 타:
계:
2명
0명
4명
0명
6명
책임급:
선임급:
원 급:
기 타:
계:
2명
0명
7명
0명
9명
책임급: 3 명
선임급: 0 명
원 급: 13 명
기 타: 0 명
계: 16 명
분야별 연구 내용
•
•
•
•
•
대상 시각
공간 시각
능동 시각
시각 칩
응용 시스템
대상 시각
목표 : What pathway 기제 이해 및 이에 기반한
3차원 물체 인식 모델 및 응용기술 개발
 3차원 물체 검출 및 인식
: 정확성 90% 이상 (1차년도 80%)
 얼굴 인식 및 검출
: 정확성 90% 이상 (1차년도 80%)
표준영상에서 특징 추출
: 오류 10% 이내
추적에 의한 인식성능향상
: 성능 향상 5% 이상
1차년도 2001
3D 대상시각 모델 연구
 What pathway 기제 및 얼굴인식 기제 연구
 신경망 기반의 3차원 물체인식 모델 개발
2차년도 2002
3D 대상시각 모델 개발
 특징 추출 신경망 모델 개발
(색상, 형태, 위치 정보 추출 연구)
 얼굴 검출 신경망 모델 개발
3차년도 2003
3D 대상시각 모델 보완,
통합 및 응용 개발
 상향식 주의에 기반한 시선결정 모델
전체연구와의 상호연계
뇌 대상인식경로 이해
- what pathway mechanism -
뇌 시각정보처리 기제 이해/모델
대상시각
(object vision)
영상 추적
- object select-
3차원 공간인지
(spatial vision)
통합 인공시각
모델/시스템
시각칩
응용시스템
능동 시각
(active vision)
휴먼 로봇
응용시스템
특징 추출 및
영역 분할
- edge linking - segmentation -
대상시각
3D 대상인식
- neural model얼굴인식
- neural model-
대상시각 분야내 상호연계
뇌 대상인식경로 이해
fMRI 이용한 실증
- What pathway 메카니즘 이해
- 얼굴인식 기제의 이해 및 모델링
3D 대상인식
영상 추적
- 선택적 주의집중
- 시선 이동
- 대상 추적
- 인식 성능향상
 향상도 5% 이상
- 3D 대상 인식
신경망 모델
- 2D 시점 추출 및
학습 모델
특징 추출 및
영역 분할
정보
선택
- 형태/색상 추출
- 부분 특징 결합
- 분할 영역 추출
 특징 누락 10% 이하
특징
제공
얼굴인식
- 얼굴 검출
신경망 모델
- 얼굴 인식
신경망 모델
3D 물체/얼굴
인식 모델
인식 기반
응용 시스템
휴먼 로봇용
시각 인식 시스템
정확성 90% 이상
통합 인공 시각 시스템
프로토타입
정확성 90% 이상
정확성 90% 이상
What pathway 이해
(object perception)
3차원 물체인식
얼굴 인식
IT
V4
IT column structure
stimulus
V2
V1
Radial
frequency
P
M
Receptive fields
What Pathway 기제 이해
특징추출/영상분할
시선 결정
What pathway 기제 및 얼굴인지 모형
• 연구목표
What pathway 이해 및 얼굴인식 기제 모형 연구
얼굴인식에 관여하는 what pathway의 특성 규명
V4, IT영역 세포 반응에 최적의 시각 속성 파악
– features defined by radial frequency
real face 인식 이전 단계의 시각표상 규명
- synthetic faces 이용
1차년도 세부목표
(1) synthetic face의 data base 구축
(2) 다차원에서 직교하는 face hyper-cube의 완성
[대상시각]
김정훈
대상시각 – What pathway 기제 및 얼굴 인지 모형

연구배경
what pathway
receptive
field
processing
optimal stimuli
highest level:
response specificity,
showing tuning for complex
pattern (e.g. face)
IT
intermediate level:
what information would be used
and how these information would
be combined for pattern
(complex) recognition?
V4
V2
non-Cartesian stimulus
V1
non-Fourier stimulus
P
M
Fourier stimulus
spatial or radial frequency?
low level:
filtering through a bank of
local linear filters
대상시각 – What pathway 기제 및 얼굴 인지 모형
• 연구결과
•
synthetic face의 data base 구축 (68 명 완성)
•
얼굴인식에 radial frequency 정보 사용 여부 실험 (92% 정확 인식률)
대상시각 – What pathway 기제 및 얼굴 인지 모형
• 연구결과
•
다차원에서 직교하는 face hyper-cube의 구축 (진행 중)
Orthogonal Face Cube
Normalize
Distance
Schmidt
Orthogonalize
Schmidt
Orthogonalize
Normalize
Distance
Schmidt
Orthogonalize
Normalize
Distance
•
radial frequency에 의해 생성된 synthetic face의
인식과 관련된 뇌활동 측정
– fMRI 연구 (2차년도 기획)
[대상시각]
특징 추출 및 영상 분할을 위한 Neural Model 연구
Edge linking을 위한 신경망 모델 구현
김호준
output
Linking connections
- Feeding connection / linking connection 구조
- Lateral inhibition에 의한 non-maximum edge
suppression
- Linking connection의 작용에 의한 edge induction
w
ij
.
.
.
.
.
.
.
u3 . .
u1
u2
...u ...u
N-1
Feeding
connections
input
- Circular neighborhood을 고려한 edge induction
- Edge vector의 direction과 strength를 별도로 고려
하는 활성화 특성
dt
dui1
dt
dui 2


w
i , jN j
v 
w
i , jN j
v 
ij j1
12
w
i , jN j
ij j1
11
A
e
v u  w v
ij j 2
12
w
i , jN j
y
i1
Q
ii i1
11
v  ui 2  wii22vi 2
ij
j2
22

P
x
R
B
-radius를 점진적으로 감소시키는 형태로 linking
작업을 세분화
N
Edge Linking 실험 결과
Original image(378 X252)
초기 edge 추출결과
Ns = 5
Ns = 20
Ns = 50
Ns = 100
Lateral inhibition에 의한 nonmaximum suppression 결과
Rp = 3, Ns = 50
Rp = 3, Ns = 100
Rp = 2, Ns = 50
Edge linking 결과
Rp = 2, Ns = 100
효율적 영상인식을 위한 추적모델
[대상시각]
이민호
• 목표 : 시선결정 및 이동 모델에 기반한 효율적 영상인식 시스템개발
• 연구내용
• 정지영상에서의 응시점 결정 및 시선이동 제어 메커니즘의 모델 개발
• 칼라 영상에서 무교사학습 방식으로 Salient 특징 추출
• 정지영상에서의 단안 안구운동 모방 시스템 개발
• 개발된 응시점 결정 모델 적용 실험
무교사 시선결정 모델(칼라영상)
시선결정 모델의 무교사 학습방식
대상시각 – 영상인식을 위한 추적 모델
학습된 특징 필터 (색상 및 에지 특징)
대상시각 – 영상인식을 위한 추적 모델
무교사 응시점결정
모델(칼라)에 의한
시선결정 결과
응시점결정 시스템의 동작모습
도약 안구 운동 시스템의 동작모습
얼굴 탐지 및 인식 신경망 모델
[대상시각]
방승량
• 연도별 연구내용
– 1차년도 : 얼굴 탐지 방법론 개발
– 2차년도 : 얼굴 인식 방법론 개발
– 3차년도 : 통합 및 응용
• 현재 1차년도 진행 중 : 얼굴 탐지 방법론 개발
– 얼굴 후보 영역 추출 : 차 영상, 피부색 모델링 이용
– 눈 탐지에 기반한 얼굴 탐지
• 눈탐지 - 조도 threshold을 이용하여 눈 후보 영역 탐지,
PCA 복합모델 이용하여 검증
– 얼굴 후보 영역 중 눈이 탐지된 부분에 대해 PCA 복합
모델을 이용하여 검증
– 중간 결과 : 얼굴 탐지율 : 97.52%, False positive : 1.37%
대상시각 – 얼굴 탐지 및 인식 신경망모델
• 연구결과
– 얼굴 탐지 과정
Camera
Skin Detection
(차 영상과
피부색 모델 이용)
Eye Detection
(thresholding과
PCA 복합 모델 이용)
Face Detection
(PCA 복합 모델 이용)
[대상시각]
3차원 물체인식 신경망 모델
양현승
• 연구 목표 : 뇌정보처리 기반의 3차원 물체인식 모델 연구
• 다양한 3D 시점에서 본 물체의 영상표현을 학습하는 신경망 모델 개발
• 최종 인식률 90% 목표 (1차년도 80%)
3D 물체인식 모델
뇌정보처리 및 이론 배경
Input Image
Unsupervised Learning
( ICA, ISA, TICA )
Learn View-based object coding
…
Object Recognition at IT
Feature map of
2D View Tuned Neurons
View-tuned filters
…
Filter activation
2D View
Recognition
View-based Object Coding of IT [Tanaka, 96a]
3D Object
Recognition
대상시각 – 3차원 물체 인식 모델
2차원 물체 모델 학습/인식
•
동일 시점에서의 영상특징 학습
•
ICA 학습 모델 구현
(Simple cell 기능 학습 모델)
학습된 특징을 이용한 대상인식
•
s
A
Training image
Feature Vector
Model image
Learning
Test image
Nearest
Neighbor
Classifier
simple cell output
( maximum
Independent
Coding )
Model
x
•
2차원 얼굴 영상의 인식률
(정면얼굴, 150명 대상)
•
•
Model
DB
PCA/ICA
basis
PCA 모델: 90%
ICA 모델: 90%
(ICA 인식모델이 인간과 유사)
Test set
PCA
answer
PCA
error
ICA
error
Both
error
ICA
answer
correct
correct
대상시각 – 3차원 물체 인식 모델
다양한 2차원 시점 학습/인식
•
다양한 시점에서의 인식모델
•
•
ISA, TICA 학습 모델 기반
(Complex cell 학습 모델)
학습모델에 기반한 3차원 물체
의 시점 표현학습
Complex
Cell Output
3D models
Training image
rendering
Learning
Test image
Basis
Activation
ISA
basis
View
Classifier
TICA
basis
Invariant
Coding
Basis Group
Image
•
3차원 얼굴 영상의 모델학습
•
•
ISA 모델 : 동일한 View 를 표현
하는 basis 들의 군집화
TICA 모델 : 유사한 View 를 표
현하는 basis 들의 연속배열
Learned ISA basis
Learned TICA basis
대상시각 – 3차원 물체 인식 모델
ISA filters
향후 연구 계획
•
3D Viewpoint 분류 신경망 모델
•
•
•
•
•
Subspace
Activation
Input
동일한 Viewpoint 들에 반응하도
록 학습된 ISA output 이용
입력영상으로부터 대상의 3차원
시점을 분류
WTA
3D Viewpoint Invariance 학습
모델
•
Filter
Activation
시간적으로 연속된 시각자극들은
동일한 대상의 다른 View일 가능
성이 높음.
동일한 대상의 서로 다른 View를
연속적으로 제시.
서로 다른 View를 나타내는 표상
(coding) 뉴런들 사이에
동일성 여부를 학습
(Temporal Association 학습)
Viewpoint 인식 Network Model
ISA filters
Activation
Input
t
Temporal
Association
Learning
Viewpoint Invariance Learning Model
공간 시각
목표 : Where pathway 기제 이해 및 그에 기반한
공간구조/변화 표상 모델 및 인식기술 개발
- 공간구조 (색/밝기, 결 구조) 복원률 95%
- 이동 표적 탐지 및 인식률 90%
- 선택적 주의기제에 의한 공간정보처리 능률 개선 25%
1차년도 2001
공간구조/변화 표상 원리 분석
2차년도 2002
공간구조/변화 표상 모델 개발
3차년도 2003
공간시각 모듈 보완/ 통합
및 응용 시스템개발
 공간구조분석을 위한 영상 전처리 연구 (색/밝기 복원,
결 속성)
 깊이, 운동 정보 표상 원리 규명
 공간주의기제 특성 분석
 색상정보에 의한 주의기반 공간 특징요소의 국소적인
결합 및 구성 방법 연구.
전체연구와의 상호연계
인공시각시스템
능동 시각 모델
인공 안구 시스템
윤곽선 추출 시각칩
인간 안구 운동 이해
안구 운동 신호의 시각계 통합
윤곽선 검출 회로 및 칩 설계
시각칩의 집적화 연구
공간 시각 모델
Where pathway 이해
대상 시각 모델
What pathway 이해
색/ 밝기 복원 원리 규명
운동/깊이 표상 원리 규명
2차원 대표 시점 추출
3차원 물체 인식 신경망
공간시각 분야 내 상호연계
정
신
물
리
학
및
공간분석을 위한 영상 전처리
밝기, 색, 대비
공간표상 정보속성 분석
및 특징 추론
모
델
링
결변화, 운동, 깊이, 위치
접
근
공간적 주의 기제
선택, 결합, 전이
삼차원 공간처리 모형 및
인식 시스템 개발
뇌
영
상
기
법
및
신
경
심
리
학
적
접
근
3차원 공간인지 모형개발
Where pathway 이해
표면결, 깊이, 운동정보를 통한 3차원 공간인지
정신
물리
연구
MST,VIP
표면 결
지각 모형
주파수
분석
결지각 요인분석
RDS
MT
깊이정보
통합 모형
global stereopsis
양안부등
공간주의 및 응용 모형개발
공간적주의 모형 개발
다중 공간표상의
특성 규명
공간적 주의
모형개발
3D 공간표상에서의
공간적 정보 선택
local stereopsis
운동정보
통합 모형
V2
시-공간변화
1st & 2nd-order motion
V1
cone
SAC
색상정보에 의한
주의기반 공간특징요소의
국소 결합, 구성원리 연구
LGN
adaptation
Retina
R
G
B
retinex
영상 전처리-recovery of surface reflectance
운동 정보를 이용한
이동물체 탐지모형개발
공간인지의 응용 모형개발
Surface reflectance, depth, & motion modules
[공간시각]
정찬섭
Color Recovery System
OC
L
R, G, B
PQ>.005?
C
 R , G ,  B
IR
PSC
CM
PQ : Proportion of equi_max in three channels
IR : Intra-Channel Ratio-Scale, L : Luminance
PSC : Proportion of Surface Color for each channel
C : Recovered color, OC : Overflow Controller
CM : Contrast Manipulator
• 연구결과: System Demonstration
1. Demo with simulated illumination
Original
simulated
2. Demo with movie scenes
Recovered
[공간시각]
공간 표면 결 연구
남종호
1차 및 2차 결속성에 따른 결 분리와 공간분석기의 역할
1차 결 속성에 의한 분리
2차 결 속성에 의한 분리
결 분리 영역을 공간 빈도에
따라 구성할 경우, 각 속성에
의한 결 분리량의 변화 측정
정신물리학 실험 자료
Measured Thresholds for Subject PYS
고빈도
0.4
0.3
brightness
0.2
contrast+brightness
0.1
0
1
2
4
8
16
Spatial Frequency (cycle per
patch)
Thresholds for Histogram
Contrast
저빈도
Threshold Histogram
Contrast
Measured Thresholds for Subject NJH
0.6
0.5
0.4
brightness
0.3
contrast+brightness
0.2
0.1
0
1
2
4
8
16
Spatial Frequency (cycle per
patch)
각 결속성과 결합된 공간분석기의 상호 독립성 연구
CS function before
Selective Adaptation
Selective
Adaptation
Selective
Adaptation
CS function after
Selective Adaptation
Measuring
Segregation thresholds
독립
의존
공간적 주의모형의 개발과 적용
작업기억과 주의의 관계
 작업기억의 어떤 특성이
주의의 유도를 이끌어 내는가?
 작업기억에 저장되어 있거나
이용되고 있는 정보가
동일한 정보로 주의를 이끄는 경우와
그렇지 못한 경우를 비교.
작업기억과 시각탐색의 효율
공간정보에 기초한 선택적 주의 과정
 선택적 주의 과정을 현실세계와
근접한 조건에서 연구하기 위하여
시각 탐색과제에 배경을 부여
 과제 수행과 무관한 배경정보는
시각 탐색에서 표적자극의 탐색에
영향을 미칠 것인가?
김민식
다중 공간표상의 특성 규명
정
신
물
리
학
적
/
 작업기억에서의 정보의 유지,조작이
선택적 주의가 요구되는 시각탐색의
효율에 영향을 주는가?
[공간시각]
신
경
심
리
학
적
접
근
시각 정보처리 단계에 따른
다양한 공간표상의 유형과
특성을 규명.
 공간정보의 저장 양식 및
시각적 작업 기억과 시각적
주의와의 관련성 규명.
 중다 대상의 공간적 배열에
대한 공간구조표상 이해.
공간주의 기전 연구
 공간적 정보에 기초한
선택적 주의 과정 연구.
 각 공간표상 유형에
따른 인간의 효율적인
정보선택과정 이해.
공간적
주의
기제
이해
및
모형
개발
• 연구결과
작업기억과 주의의 관계
+
u
257
+
+
+
+
u
작업기억과 시각탐색의 효율
+
+
u
u
+
작업 기억에 저장된 정보에 대한 탐
사 반응 시간이 그렇지 않은 자극에
비해 유의미하게 빠름.
기억해야 하는 자극의 표상이 이미
형성되어 있거나, 공고화를 위한 노
력이 필요 없는 경우에는 반응시간
의 차이 유의미하지 않음.
시각 정보 처리 방법의 차이에 따른
주의의 할당 차이 시사.
시각정보의 효율적인 학습을 위한
인간의 처리 양식을 살펴볼 수 있는
기초자료 제시.
+
지금의 숫자를
기록하세요
공간정보에 기초한 선택적 주의 과정
3
씩
빼
나
가
는
역
행
숫
자
세
기
과
제
수
행
맥락과 배경정보가 모두 동일한 조
건은 맥락과 배경정보 중 어느 한쪽
이 다른 경우보다 유의미하게 탐색
수행률이 좋음.
작업기억 내에서 정보를 계속해서
조작하고 있어야 하는 경우의 탐색
기울기는 단독 시각탐색과제 때와
비교하여 유의미한 증가를 보임.
시각 탐색 자극이 동일한 공간적
위치에 제시되었더라도 자극이 제
시되는 배경이 변화하면 표적자극
탐색을 위한 효율이 떨어짐.
작업기억 과정이 시각 탐색의 효율
에 영향을 줌을 시사.
맥락단서효과에서 배경이 표적자
극의 탐색에 영향을 줌.
색상/움직임을 이용한 선택적 공간정보처리
모형 연구
[공간시각]
1차년도 연구목표 :
 색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성
인간 및 기계에서의 선택적
공간 정보처리
메커니즘 이해
색상정보에 의한 주의기반
공간특징요소의 국소적인
결합, 구성방법
 신경생리학 및 해부학 문헌 활용.
 세미나 및 논문을 이용한 기존의
선택적 공간정보처리 메커니즘
조사.
 시각계의 선택적주의 메커니즘
조사 및 이해.
 선택적 주의에 관련된 상향식 방
법과 하향식 방법에 대한 기존 연
구 방법 분석.
 주의 메커니즘에 기반하여 탐지하
고자 하는 영역의 기본 공간특징요
소 추출 방법 연구.

색상정보 및 그레이 명암도 등 상
향지식을 사용한 공간특징요소의
추출 및 조합 방법연구.
이일병
기존의 선택적 공간 정보처리 메커니즘 이해
• Visual Attention Methods
–
–
•
Bottom-up(data-driven) Approach
• 영상 전체에 걸쳐 분포되어 있는 다양한 기본 특징과도 같은 bottom-up cue를 사용하여
관심 영역을 추출
• 인간의 시각적 주의에 대해 알려진 대부분의 것들은 모두 bottom-up cue에 의한 것들임
• 주어진 작업에 대한 어떠한 선지식도 사용하지 않기 때문에, 시스템 구조의 큰 변경없이
다양한 응용분야에 적용 가능
Top-down(model-driven) Approach
• 수행하는 작업, 찾고자 하는 물체 등의 이미 알고 있는 top-down cue를 사용하여 관심 영
역을 추출
• 대부분 빠른 “pattern matching” 모듈 같은 역할 수행
– 인식단계와의 부분적인 상호작용과 학습과정을 필요로 함
• 다른 문제에 적용하기 어려움
Bottom-up Attention Models
- Koch와 Ullman의 모형


–
–
인간의 시각적 주의에 대한 최초의 계산 모형
‘Saliency Map’ 개념 사용
이후의 많은 모형들은 모두 Treisman의 특징 모듈들에 해당하는 특징맵을 계산하는 단계와 이
들을 조합한 결과로 돌출맵(saliency map)이나 우선순위망을 계산하는 단계 가짐
차이점 : 초기 시각형태인 특징맵과 돌출맵을 만들어내는 메커니즘
색상정보에 의한 주의기반 공간 특징요소의 국소적
인 결합 및 구성 방법 제안
RGB Image
특징추출모듈
F1
F2
F3
DOOrG 필터를 이용한 측면억제에 의한 결합방식 모방
중요도추출모듈
I1
I2
I3
특징의 국부 경쟁력 특성과 통계적 정보를 바탕으로 한
반복적인 비선형 특징조합
IT1
IT2
선형 조합
특징조합모듈
S
IT3
 특징추출모듈 : 색상 및 명암도 밝기과도 같
은 기본 특징 요소들을 표현하는 3개의 맵을
정의, 특징들은 병렬적으로 추출된다.
 중요도추출모듈 : 특징추출모듈에 의해 생성
된 여러 특징맵을 중요도맵으로 변환시키는
역할을 수행하는데, 중요도맵은 각각의 특징
맵에 있어 해당 특징맵을 구성하고 있는 특정
한 지점에서의 특징값이 국부적인 영역에 있
어서 중요도가 어떠한가를 나타내는 중요도
측정치에 대한 정보를 가진다.
 특징조합모듈 : 중요도추출모듈에 의해 생성
된 각각의 중요도맵에 대해 각 맵을 구성하고
있는 특징값들의 공간 경쟁력 특성과 이들의
통계적 정보를 바탕으로 특징을 조합하여
돌출맵을 만든다. 이 돌출맵은 입력된 영상정
보에 대해 어떤 영역이 돌출되어 있는지에
대한 정보를 가지고 있다.
능동 시각
목표 : 인간 3차원 안구운동을 모방하는 인공안구 개발과
안구 운동신호의 시각계 통합에 따른
시각기능의 조절 연구
- 체적 300 ㎤, 속도 300deg/s 사양의 3차원 안구운동기구 개발
- 3차원 안구 운동과 시각 신경계의 상호작용 이해
1차년도 2001
 동역학 모델링을 위한 인간의 3차원 안구위치 측정
인간 안구 시스템의 인지신경 기전
및 3차원 동역학적 모델 개발
2차년도 2002
인간의 3차원적 시선 이동 패턴의 이해
안구운동에 따른 시각 신경계의
역동적 조절과정 연구와 소형
고출력 actuator 개발
인체 안구 시스템의 동역학적 모델링
3차년도 2003
고속 안구운동에 따른 시각의 역동적 조절
3차원 인공안구의 개발 및
신경신호에 의한 제어 연구
전체연구와의 상호연계
뇌 시각정보처리 기제 이해/모델
능동시각
(active vision)
통합 인공시각
모델/시스템
시각칩
응용시스템
인간의 3차원적
시선이동 패턴 이해
3차원 안구측정
프레임 제작
안구운동의 3차원
동역학 모델 연구
안구운동 시뮬레이션
안구운동의
인지신경
기제 연구
도약 안구운동
직후에 관찰되는
운동지각에 있어서의
왜곡
3차원 공간인지
(spatial vision)
3차원 대상시각
(object vision)
능동형 추적
응용 시스템
운동 정보를 이용한
이동물체 탐지모형개발
능동시각 분야내 상호연계
3차원 안구운동의 이동패턴 연구
시각계 유입 안구 신호의 기능 연구
-안구의 3차원적 위치 측정
-안구운동에 따른 시선이동패턴 연구
신경생리적 연구
-시각 피질로 유입되는 안구
운동 관련 신호 측정
인간 안구 시스템 모델링
정신물리적 연구
Actuator 개발
-운동 지각 및 형태 지각에
미치는 안구 운동의 영향
안구 제어 신경신호 추출
3차원 인공 안구의 개발
신경모방 신호에 의한
3차원 안구운동 기구의 확립
[능동시각]
시신경신호에 기반한 안구운동기구 개발
연구 배경
및
연구내용
안구운동 시뮬레이터 개발
인간의 안구는 3자유도를 가지고 움직임.
-안구의 회전과 안근육의 움직임을 표현하는
모델이 필요
-3자유도를 갖는 시뮬레이터 요구
시뮬레이터의 제작
-회전식 모터의 사용
실제 안구의 구조와 상이함
시스템이 커짐
-리니어 모터의 사용
방영봉
실제 안구를 모델로 한 안구운동 시뮬레이션
안구의 직경: 23.5mm 구
무게 : 0.007kg
외직근의 길이 : 40mm
상사근길이 :
안구에서 trochlea : 28mm
trochlea 에서 zinn : 32mm
하사근의 길이 : 37 mm
스크린 까지 거리 : L
y
x
L
안구 운동 시뮬레이션 결과
현재의 연구 방향
•스크린까지 거리: L = 50cm
•물체 이동: 45˚로 상하 10cm
•Helmholtz model을 사용
•Helmholtz model에 따른 회전식 안구모형
•컴퓨터를 이용하여 제어 수행
Controller
Position & Velocity
Feedback
안구의 회전
2차년도 이후 연구 방향
•소형 고출력 리니어 모터를 이용한
안구 모델 개발
•전용 소형 제어기 개발
Motor
Amp
Controller
근육 길이의 변화
Miro-processor
Position & Velocity
Feedback
Cntroller
3차원 안구운동과 시각신경계의
상호작용 이해
[능동시각]
이춘길
연구 배경
능동적 과정으로서의 시각
• 안구 운동 신호와 시지각 사이의 관계
• 안구 운동 관련 신경신호
-Afference signal
-Efference copy
• 신경생리적 결과에 기초한 3차원 안구운동 생성 모델
• 안구 운동 신호의 시각신경계 유입 가능성
Vision: Active Process
Visual
Perception
Retinal
Afference
Visual Cortex
Eye Movement
Command
3차원 안구운동에 대한 모델
Attention
Motivation
Memory
시각계 유입 안구운동 신호의 기능 연구 (1)
연구 내용 및 결과
안구의 3차원적 위치 측정
안구의 수직, 수평, 비틀림 위치 측정
안구운동에 따른 시선이동 패턴 연구
현 진행상황
도약 안구 운동 직후에 관찰되는
운동 지각에 있어서의 왜곡
-고속의 안구운동은 시각에 영향
-안구운동 전후에 시각의 역동적 조절
-이의 실험적 규명
도약 안구 운동 종료 직후 운동자극
(200deg/s, 1000deg/s)에 대한
방향판단
-최초로 지각적 왜곡 발견
안구의 3차원적 위치 측정을 위한
측정 장치의 제작
-Helmholz coil을 이용한 3차원 자기장
발생 프레임 제작. 완료
-3차원 위상탐지회로 제작. 완료
-안구 신호 채집을 위한 컴퓨터 인터
페이스 제작1(하드웨어 제작). 진행중
-안구운동 유도 위한 자극 생성장치
제작. 진행중
앞으로의 과제
안구 운동 유도 장치 및 안구 운동 신호
채집을 위한 컴퓨터 인터페이스 제작2
(소프트웨어의 개발)
3차원 시선이동 측정과 패턴 연구
능동시각: 안구-시각 상호작용 연구
No
Saccade
After
Leftward
After
Rightward
Park, Lee & Lee (2001) Vision Research
시각 칩
목표 : 윤곽선 검출 시각 칩 개발 (256*256),
움직임 검출 시각 칩 개발 (256*256)

256*256 윤곽선 검출 시각 칩
(저전력, 광적응, 국소적응 개념 도입, 응용기술 개발)
256*256 움직임 검출 시각 칩
(이동 물체 탐지 및 추적 용도, 응용기술 개발)
1차년도 2001
윤곽선 검출 시각 칩 설계
움직임 검출 시각 칩 개발
 효율적 수광소자의 설계
 광적응, 국소적응 회로의 설계
 주변회로의 집적화
2차년도 2002
윤곽선 검출 시각 칩 제조 및 평가
움직임 검출기능 구현
 최소전력소비에 대한 연구
3차년도 2003
 영상센서 설계 및 구현
윤곽선 검출 칩 응용기술 개발
움직임 검출 칩 응용기술 개발
 현 집적회로 기술상 문제분석
- 256 x 256 이상의 Array
전체연구와의 상호연계
뇌 시각정보처리 기제 이해/모델
윤곽선 검출 칩
- 256*256 array
- 광적응,국소적응
- 저전력소비
- 주변회로 집적화
3차원 대상시각
(object vision)
3차원 공간인지
(spatial vision)
 3차원 물체 인식
 얼굴 인식
 3차원 공간 인지
( depth, motion)
윤곽 검출
통합 인공시각
모델/시스템
움직임 검출
시각 칩
움직임 검출 칩
- 256*256 array
- 디지털 신호처리부 내장
- 화소의 수광범위- 100dB 이상
- 저전력 소비
- 동작속도 - 100 frames/s 이상
능동시각
(active vision)
응용 시스템
 능동형 물체추적 응용시스템
 스테레오비젼 응용시스템
 휴먼 로봇용 인공시각시스템
시각 칩 연구 추진체계
인지심리학적 메커니즘 이해
- 윤곽선 검출 메커니즘 이해
- 움직임 검출 메커니즘 이해
물체 인식 기제 및
모델 연구
공간 인지 기제 및
모델 연구
움직임 검출
시각칩의 설계
윤곽선 검출
시각칩의 설계
- 256*256 array
- 디지털 신호처리부
내장
- 화소의 수광범위
- 256*256 array
- 광적응,국소적응
- 저전력소비
- 주변회로 집적화
- 100dB 이상
- 저전력 소비
- 동작속도
- 100 frames/s 이상
물체 인식 모델
응용 기술 개발
공간 인지 모델
응용 기술 개발
통합 응용 시스템
스테레오비전시스템
물체인식시스템
물체추적시스템
윤곽선 검출 시각 칩 개발
[시각 칩]
신장규
연구내용
 32*32 방사형 전류출력 시각 칩 설계 및 측정
 64*64 정방형 시각 칩 설계
 Dynamic range 향상을 위한 광 적응 회로 제안 및
128*128 시각 칩 설계
 주변회로의 집적화
- 6*64 decoder 설계
윤곽선 검출 시각 칩
Photoreceptors
Horizontal cells
Bipolar cells
Edge chip cell diagram
64x64 Edge chip
윤곽선
추출
연구결과
32*32 방사형 전류출력 시각 칩 설계 및 측정
단위
픽셀
회로도
전체
배치도
제조된
칩 외관
현미경
사진
게이트 바이어스에 따른 측정결과
여러 입력광에 따른 측정결과
64*64 정방형 시각 칩 설계
단위
픽셀
회로도
전체
배치도
제조된
칩 외관
현미경
사진
Dynamic range 향상을 위한 광 적응 회로 제안 및 128*128 시각 칩 설계
전체
배치도
MOSFET
선형저항
단위 픽셀 회로도
주변회로의 집적화
6*64 decoder 설계
6*64 decoder 회로도
decoder layout
[시각 칩]
윤의식
움직임 검출 시각 칩 개발
연구내용
• Motion 검출칩의 Pixel Design
• CMOS technology scaling
 Some problems appear in pixel design such as high leakage current,
poor spectral response and so on.
 These result in poor sensitivity of the Imaging sensor.
• Factors of sensitivity (V/lux)
 Quantum efficiency
 Conversion gain (V/e-)
움직임 검출 시각 칩
VDD
RESET
RSEL
Storage
Capacitor
CBUS
RSELM
VDD
Motion chip cell diagram
128x128 Motion chip
Frame difference image
of the moving hand
• Spectral Response
• Penetration depth: (absorption coeff.)-1
• Red ~ 5µm
• Violet ~ 100nm
• @Si (300K)
• As technology feature
• size scales down
• charge collecting
• junction is near
• surface
cbus
Proposed CMOS Pixel Scheme
vdd
reset
rsel
vb
p+
STI
n+
p+
STI
n-well
p-sub
• Potential difference
between p+ and n-well is
tied to be constant by
source follower.
Generated electrons are
accumulated in n-well and
voltages of p+ and n-well
will decrease. This
scheme will improve
conversion gain.
• Electrons generated
nearby both p+/n-well and
n-well/p-sub junctions
will be accumulated
which will improve red
response.
• 연구결과
• Conversion gain improvement (factor of 2)
• Improved QE
• Increased layout area
• Well spacing, well-active overlap
• Low Power consumption
• 256x256 array consumes 20mW @ 100nA biasing and
3.3V supply voltage
응용 시스템
목표 : 뇌 시각 기술에 기반한 응용 시스템 개발
능동형 물체 추적 시스템 : 인간의 시각 모델에 기반하여 물체를 인지하고
추적하여 적절한 감성을 표현하는 시각 응용 시스템 개발 ( 6자유도 Head/Eye 시스템)
스테레오시각 응용시스템 : 양안 시각을 이용한 3차원 정보추출 모듈 개발 및 이를
이용한 착용형 시각 안내 시스템 개발 (변위 추정 오차 0.5 pixel 이내, 맹인 안내 데모)
 휴먼 로봇용 인식시스템 : 휴먼로봇에 탑제될 뇌공학 기반 시각인식기술 통합 시스템의
설계 및 구현과 이를 통한 인식기술 응용 (가사 및 안내 데모)
1차년도 2001
응용 시스템 연구
 인간 시각 시스템의 구동 능력 모델링 및 이를
바탕으로한 능동 물체 추적 시스템의 설계
2차년도 2002
 양안시각 HW 구성 및 특징량 추출 연구
응용 시스템 개발
3차년도 2003
응용 시스템 보완/통합
 시각 인식기술의 휴먼로봇 응용을 위한
인식통합시스템 설계 및 구현
전체연구와의 상호연계
특징추출
시각 입력
대상 시각
(Object vision)
능동형
물체 추적
Gray / Edge
Color
Motion/Depth
공간 시각
(Spatial vision)
Saccade &
Vergence
controller
윤곽선
검출 칩
스테레오
비젼
움직임
검출 칩
시각 칩
능동 시각
(Vision chip)
(Active vision)
휴먼
로봇
응용 시스템
(Application system)
응용 시스템 연구 추진체계
능동형 추적 시스템
제작을 위한
자료조사 및 모델링
능동 추적 시스템의
기구부 및 제어기 제작
인간 시각 모델에
기반한 알고리즘 구현
인간 양안 시각모델링
하드웨어 구성
특징량 추출연구
변위 추정 기술개발
장애물 검출 및 회피
전방 환경식별
스테레오 영상처리 모듈개발
착용형 하드웨어 시스템 개발
시스템 데모
휴먼로봇응용을 위한
인식통합시스템 연구
휴먼로봇응용을 위한
시각인식 통합
휴먼로봇응용을 위한
시각 인식 통합 및
인식시스템의 안정화
휴먼로봇용 인공시각 시스템
능동형 추적 응용 시스템
[응용시스템]
정명진
• 연구내용
구분
연구개발목표
연구개발내용 및 범위
1차년도
(2001.8 ~
2002. 5)
능동 시각 시스템
제작을 위한 자료 조사
및 모델링
- 기존 시스템 성능 향상을 위한 자료 조사
- 인간 시각 시스템의 구동 능력 모델링
- 모델링된 인간 시각 시스템을 바탕으로한 능동 시각
시스템의 세부 사항 결정
- 3D 그래픽툴을 이용한 움직임 영역 검사
2차년도
(2002.6 ~
2003. 5)
능동 시각 시스템의 기구
부 및 제어기 제작
- 능동 시각 시스템의 기구부 및 구동부 제작
- 능동 시각 시스템의 제어기 제작
3차년도
(2003.6 ~
2004. 5)
인간 시각 모델에 기반한
알고리즘 구현
- 인간 시각 모델에 기반한 능동 시각 시스템의 알고리즘 구현
- 구현된 알고리즘의 적용
• 연구결과
– 인간 시각 시스템의 구조
E
~
E
-
T
~
E
+
+
+
~
E
-
Delay
목표위치
+
Pulse
Gen

+
dt
+
Actua
tor
Velocity
Gain
Saccade 모션의 모델
– 시야의 기능 분담
–
–
–
–
분별 시야 : 중심 약 5, 시력, 색 분별력, 정보 수용력 우수
유효 시야 : 좌우 약 15, 상부 8, 잡음 속의 목적 정보 검출
안정 주시야 : 좌우 약 30~45, 하부 25~40, 상부 20~30 안구 및 두부운동
유도 시야 : 좌우 50 , 하부 45 , 상부 40 , 시각 정보 존재와 대략적인 정보
판별, 인간의 방향 감각에 영향, 주관적인 공간 좌표계
• 연구결과
Host
Computer
Visual
Feedback
Stereo
Camera
Camera
Movement
RS232C
Control
Command
DSP
Control
Input
Active
Head-Eye
FPGA
Counter
Value
Encoder
Control Board
– 전체 시스템의 구조
–
–
–
–
제어를 위한 소형 경량의 DSP 채용
모터의 속도 측정을 위한 FPGA : Encoder pulse count
위치 및 속도 제어 모드
1394 시리얼 인터페이스를 이용한 전체 시스템의 간결화
스테레오 비젼 응용 시스템
[응용시스템]
권인소
• 연구내용
구분
연구개발목표
연구개발내용 및 범위
-스테레오 비젼 시스템 기구부 구성 (2001.8.~2002.2.)
- 인간 양안 시각 작용에 대한 기존의 연구 결과 조사
1차년도
(2001.8 ~
2002. 5)
- 하드웨어 구성
- 인간 양안 시각 모델
링
- 특징량 추출 연구
2차년도
(2002.6 ~
2003. 5)
- 변위 추정 기술 개발
- 장애물 검출 및 회피
- 전방 환경 식별
- 신경망을 이용한 대응점 정합 기술 개발
- 전방의 장애물 존재 유무 및 회피 경로 결정
- 신경망 학습을 통한 전방 환경의 형태를 인식 연구
3차년도
(2003.6 ~
2004. 5)
- 스테레오 영상 처리
모듈 개발
- 착용형 하드웨어
(wearable hardware)
시스템 개발
- 개발된 알고리즘의 통합
- 범용 스테레오 영상 처리 모듈 개발
- 자율 주행 로봇의 주행 실험을 통한 시스템 검증
- 개발된 모듈을 이용한 시각 장애자를 위한 착용형 안내 시스템
개발
(2001.8.~2002.2)
- 인간의 양안 시스템에서 일어나는 양안 변위를 이용한
거리 인지 과정 모델링 (2001.8.~2002.2)
- 특징량 연구 및 신경망을 이용한 특징량 추출 알고리즘
개발 (2001.12.~2002.5)
• 연구결과
• 스테레오 영상 capture를 위한 H/W 구성
Stereo head setup
y
x
cameras
rotator
for tilting
post for
height
control
Panning 및 Baseline 조절 가능
Tilting 가능
components
z
-3 rails
-2 post
-4 rotators
-2 cameras
Height
조절 가능
Vergence
조절 가능
rotator for
vergence control
rail for depth
control
Depth
조절 가능
rail for baseline adjustment and panning
각각의 camera에 대해서 개별적으로 panning, tilting 및 개별vergence
control, height와 depth 조절이 가능.(5dof/camera, manually controlled)
• 인간 양안 시각 작용에 대한 기존의 연구 결과
두 개의 상반된 이론
• Shape-First Theory :
Shape Analysis
• Stereopsis-First Theory :
Stereopsis
Stereopsis
Shape Analysis
• 연구결과
• 인간의 양안 시스템에서 일어나는 양안 변위를 이용한 거리
인지 과정 모델링
• 현재 연구 진행중
왼쪽 이미지
연구중인 특징량
정합
오른쪽 이미지
연구중인 특징량
양안 변위에 의한
거리 추출
Multi Scale Multi Orientation
Multi Feature Matching
• 특징량 연구 및 신경망을 이용한 특징량 추출 알고리즘 개발
• 현재 연구 진행중
인간 양안 시스템에서
사용되는 특징량 연구
영상에서 정합에 적합
한 특징량 정의
상관 관계 연구
신경망 구현 및 정합에
적합한 특징량 학습
신경망을 이용한 입력
영상 내 특징량 추출
정합 과정에서 영상 특징
량들의 성능 분석 연구
휴먼 로봇용 인식 시스템
• 연구내용
구분
연구개발목표
연구개발내용 및 범위
1차년도
(2001.8 ~
2002. 5)
휴먼로봇응용을 위한
인식통합시스템 연구
- 뇌공학기반 인식기술의 통합을 위한 연구
- 인식기술의 휴먼로봇 응용을 위한
인식통합시스템 설계
- 인식통합시스템의 구현
2차년도
(2002.6 ~
2003. 5)
휴먼로봇응용을 위한 인
식시스템 통합
- 휴먼로봇 응용을 위한 시각인식통합
- 인식통합시스템의 안정화 및 성능개선
3차년도
(2003.6 ~
2004. 5)
휴먼로봇용 인식시스템
통합 및 보완/평가
- 인식통합시스템에 기반한 인식기술 통합
- 통합된 시각인식시스템의 성능향상 및 안정화
[응용시스템]
양현승
• 연구결과
휴먼로봇응용을 위한
인식통합시스템 설계,구현
휴먼로봇 응용을 위한
시각인식 통합
시각인식 시스템
성능향상 및 안정화
– 뇌공학기반 인식기술의 통합을 위한 연구
– 뇌공학 기반 인식기술의 휴먼로봇 응용을 위한 구조분석 및 변경
– 실시간 영상에서 신뢰성있는 부분 추출기법 필요
– 기존 뇌공학 기반 인식기술의 인식DB 간소화 및 알고리즘 효율화
를 통한 수행시간 최소화 연구(진행중)
– 인식통합시스템의 설계 및 구현
– USB 인터페이스를 이용한 실시간 영상 Capture
– 320x240 24bit RGB 20~30Frame/Sec
– 입력된 영상에서 실시간 얼굴 Detection(진행중)
– Color Histogram 분석 및 segmentation을 통한 신뢰성있는 얼굴
부분 추출
– 추출된 얼굴 영상에서의 부분특징 추출(눈,코,입…)
– 인식기술 통합을 위한 인터페이스 구성
• 연구결과
•인식통합시스템
•뇌공학 기반 시각인식
– 인식통합시스템 구조도
•인식통합시스템
입력영상
얼굴부분
추출
부분특징
추출
(눈,코,입,..)
뇌공학 기반
얼굴 인식기술
얼굴DB
인식결과