Transcript 공간구조/변화 표상 모델 개발

공간 시각
정찬섭, 이일병, 김민식 (연세대), 남종호(가톨릭 대)
목표 : Where pathway 기제 이해 및 그에 기반한
공간구조/변화 표상 모델 및 인식기술 개발
- 공간구조 (색/밝기, 결 구조) 복원률 95%
- 이동 표적 탐지 및 인식률 90%
- 선택적 주의기제에 의한 공간정보처리 능률 개선 25%
1차년도 2001
공간구조/변화 표상 원리 분석
 공간구조분석을 위한 영상 전처리
연구 (색/밝기 복원, 결 속성)
깊이, 운동 정보 표상 원리 규명
공간주의기제 특성 분석
색상정보에 의한 주의기반 공간
특징요소의 국소적인 결합 및 구성
방법 연구.
2차년도 2002
공간구조/변화 표상 모델 개발
 색채/밝기 복원 모델 개발
표면결,깊이,운동정보 표상모델 개발
뇌영상 기반 주의과정 모델 설계
이동 물체 탐지 및 인식 모델 개발
3차년도 2003
공간시각 모듈 보완/ 통합
및 응용 시스템개발
 색채/밝기 복원 모델의 실용화를
위한 수정 및 보완
표면결,깊이,운동 지각 통합 모델
주의 기반, 이동물체 탐지 및
인식모델의 수정 및 보완.
공간시각 연구 추진체계
정
신
물
리
학
및
공간분석을 위한 영상 전처리
밝기, 색, 대비
공간표상 정보속성 분석
및 특징 추론
모
델
링
결변화, 운동, 깊이, 위치
접
근
공간적 주의 기제
선택, 결합, 전이
삼차원 공간처리 모형 및
인식 시스템 개발
뇌
영
상
기
법
및
신
경
심
리
학
적
접
근
1. Color Constancy for Digital Images
Determinants of Digital Colors

ChannelK  FK I(λ) S ( λ)dλ  FK I K S K  I K S K
I ( )
R  I RS R
FR
S ( )
FG
G  I GSG
FB
B  I BS B
The formula for recovering the color of ChannelK (CK )
k
RG B
CK  L  PK  ( R  G  B ) 

k
r  g b r g b
RG B
RG  B
RG B
 g , CB 
b
 CR 
 r , CG 
r  g b
r  g b
r  g b
PK
L
(R+G+B)
ENERGY
CR
+
CG
+
COLOR COMPONENTS
CB
The Schematic Diagram
OC
L
R, G, B
PQ>.005?
C
 R , G ,  B
IR
PSC
CM
PQ : Proportion of equi_max in three channels
IR : Intra-Channel Ratio-Scale, L : Luminance
PSC : Proportion of Surface Color for each channel
C : Recovered color, OC : Overflow Controller
CM : Contrast Manipulator
Performance Evaluations
1. Natural scenes
Simulation with blackbody 20,000K
Original
simulated
Recovered
2. Mondrians with simulated illumination of blackbody 10,000K
A Mondrian having balanced surface colors
Original
Simulated
Recovered
Limitations
1. Insolvable
- Multiple light sources
2. Solvable
- Spectral bias of the entire surfaces
Equi_max RGB
parts that help
constancy
Glassy or specula surfaces may
also help constancy
- Dominant higher-order illumination
1st-order illumination
2nd-order illumination
Problems similar to the case of
multiple light sources
2. 운동처리기제와 형태처리기제의 상호작용
MAE & Its underlying mechanism
Motion sensor
Opponency
Comparator
• Neural Habituation : Reduction of
responsiveness
– Ganglion cell (Barlow & Hill, 1963)
– Simple & complex cell (Ciaschi et al. 1993)
– MT & MST cell (Peterson et al., 1995)
• Adaptive Recalibration Hypothesis
1998)
(Anstis et al.,
Observations: Perceptual
Plasticity of MAE
• Demonstration: Linear MAE
• Demonstration: Rotary MAE
– Annulus rotation
– Out-of-Phase
– Annulus rotation
– In-Phase
– Inner disk rotation
– In-Phase
ADAPTATION
TEST
MAE
MAE
MST
?
IT
Out of phase
In phase
3. 공간 표상의 군집화 효과
실험을 통하여 군집화 효과가 공통된 세부특징을 지닌 대상 자체뿐만 아니라 그
세부특징을 공유했던 위치에 근거하여 일어남을 발견. 이는 군집화가 위치 혹은
초기 선택(early selection)과 관련이 있음을 시사.
570
반응시 간평균( ms)

군집화 효과
560
550
*
군집화 효과
540
*
530
520
510
500
이동전
동일위치
< 자극을 이동시킨 조건의 예 >
이동전
군집내
이동전
군집간
이동후
동일대상
표적위치
이동후
군집내
이동후
군집간
4. 공간적 주의가 필요한 시각탐색과 작업기억




BDFH
실험목적: 작업기억과 시각탐색에서의
공간주의는 서로 연관이 있는가? 이를
살펴보기 위해 작업기억의 지속적인 활
성화가 시각탐색의 수행효율에 영향을
미치는지를 봄.
+
방법: 작업기억을 활성화시키기 위한 기
억과제를 수행하면서 동시에 시각탐색
과제를 수행함.
결과: 단독으로 시각탐색과제를 수행한
경우와 비교해 기억과제와 시각탐색과
제를 동시에 수행하는 경우 탐색 수행
효율이 유의미하게 떨어짐.
재배열된 알파벳을
기록하세요
이중과제
(기억 + 시각탐색)
반
응
시
간
단독시각탐색
(ms)
논의: 시각탐색에 필요한 공간주의의 운
용은 작업기억과 관련이 있으며, 지속적
으로 작업기억 리소스가 사용되고 있는
경우에는 2차로 수행되는 주의의 수행
효율이 간섭을 받게 됨.
+
알
파
벳
순
으
로
재
배
열
하
는
과
제
수
행
<반응시간 그래프>
5. 공간 배경맥락 와 시각탐색



실험목적: 탐색 과제와 무관한 시각적
배경맥락의 반복 제시가 표적 탐색수행
에 도움이 됨. 이 때, 배경맥락 정보의
어떤 측면이 시각탐색과정에서 도움이
되는가?
블록 11, 12
…
방법: 마지막 두 블록에서 배경을 반전
시키거나, 배경형태의 위치를 변화시킴.
결과: 배경의 윤곽선이 유지되고 명암이
바뀌는 조건에서는 수행이 여전히 좋았
으나, 배경형태의 위치가 변하는 조건에
서는 수행이 유의미하게 떨어짐.
논의: 배경맥락에 포함된 윤곽선의 형태
나 그 위치가 맥락단서로서 시각탐색에
영향을 미치며, 이러한 배경맥락의 형태
와 위치는 탐색 자극의 배열형태와 암묵
적으로 연합되어 학습됨.
블록 1
< 배경을 반전시킨 조건의 예 >
1500
반응시간 (ms)

변화맥락
1450
배경반전
동일맥락
1400
1350
1300
1
2
회기
3
6. 대비변조에의한 역행운동 착시
• 회전과 함께 대비가 낮
아지면 강력한 역행운
동 착시를 경험하게 됨
• 순응기간을 요구하지
않음
• 사각파형인 경우는
착각적 역행운동이
없음
• 정현파일 경우에만
대비가 0인 상태 후
에 경험하게 됨
대비변화에 따른 운동방향 왜곡
관찰자
X-axis
1
0.8
0.6
Z-axis
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
-8
-6
-4
-2
0
2
4
6
8
운동진행방향
• 대비가 줄어들면 대상
의 경계가 불확실해져
서 관찰자로부터 멀어
지는 운동으로 파악될
수 있음
• 대비도 0 이후의 위치
에 대한 오류 판단에
의한 착각적 역행운동
지각
운동궤적과 예상위치
• 공간상 운동궤적에 따
른 착각적 역행운동량
의 차이가 있음
• 세가지 운동궤적에 따
나타난 위치
른 착시량
• 예시 1, 2, 3
관찰자
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
예측한 위치
7. 색상정보 및 움직임 정보를 이용한 선택적 공
간정보처리 모형 연구
2차년도 연구목표 :
 움직임 정보를 이용한 이동 물체 탐지
움직임 정보를 이용한
이동물체 탐지
• 움직이는 물체의 방향, 속도등
으로 움직임 정보 분석
• 움직임 정보를 이용한 이동 물체
탐지 모형 제안
망막의 생물학적
메커니즘 이해와 활용
• 광범위한 영역과 특정 영역의
움직임을 동시에 탐지가 가능한
망막의 특성 이해
• 광각렌즈와 펜-틸트-카메라를
이용한 시스템 설계
이동 물체 탐지 모형 제안
제안하는 시스템의 특징


광각 렌즈를 장착한 카메라와 펜-틸트-줌 카메라를
이용함으로써 광범위한 영역에 대한 움직임 추적과
특정 대상의 추적을 동시에 할 수 있음
빠른 속도와 노이즈 제거 효과를 보여주는 블록 기반
방식 으로 움직임 감지 후 속도와 방향으로 움직임
추적
제안하는 실시간 이동물체 추적 시스템
1
2
광각 렌즈
카메라
펜-틸트-줌
카메라
⑤
①
Frame Grabber
카메라로 부터 컴퓨터로
영상신호 전송
④
②
이동물체 추적 모듈
1. 광각렌즈를 장착한 카메라로 부터 전송된
영상을 블록화 (전처리)
2. 영상차를 이용한 움직임 감지
3. 이동물체의 속도와 방향 계산후 미래의
위치 예측
4. 입력된 움직임 영역 중 색상값과 거리를
계산하여 후보를 추적 대상으로 선택
5. 카메라 제어 모듈에 추적 대상의 좌표값 전송
카메라 제어 모듈
③
1. 광각 렌즈의 굴절된 좌표값을 펜-틸트
-줌 카메라의 구동 좌표에 맞게 재조정
해서 펜- 틸트-줌 카메라를 Pan-Tilt
제어
2. 추적 대상의 크기에 맞게 Zoom 제어
3. 펜-틸트-줌 카메라에 제어 신호 전송