Transcript 근거리에서의 얼굴 인식 시스템 연구

근거리에서 얼굴 인식 시스템 연구
연세대학교
컴퓨터과학과
변혜란
얼굴인식을 위한 전처리 기법및 얼굴 유형정보
조명보정 전처리 기법
- ICR-
SHAPE 정보 활용
- 얼굴유형정보 표현-
Yonsei Univ.
2
얼굴 인식의 어려움
얼굴내적 요인
- 나이, 표정, 머리스타일 등.
얼굴외적 요인
- 조명, 포즈, 배경, 액세서리 등.
Face recognition is very difficult problem
Yonsei Univ.
3
얼굴 인식의 해결을 위한 접근법
얼굴정보 최대한
활용 방안모색
전처리 기법 개발
-조명에 따른 영향을 최소화 할
수 있는 전처리 방안 연구
-얼굴 영역 안의Texture 정보
뿐 아니라, Shape 정보 사용 방
안 모색
-얼굴특징 정보를 잃지 않으면서
효과적으로 그림자 효과를 제거할
수 있는 기법 개발
-기존의 대부분 방법은 얼굴의
영상패턴 정보만을 활용하고 있
다
Yonsei Univ.
4
조명보정 전처리 기법
Yonsei Univ.
5
기존연구
-Pose 및 Illumination Invariant 한 Feature 추출
: 현실적으로 용이하지 않음
-다양한 view를 통한 view-based 학습방법 기반
: 다양한 포즈 및 조명 조건 하에서 촬영한 영상을
학습 샘플로 사용
-조명별 영상을 이용한 조명모델 구성
-상위 # 개의 고유값을 제거한 특징 사용
-조명 영향이 적은 그레디언트 연산 이용
Yonsei Univ.
6
Multiple Regression Model
에러를 최소화 하는 직선을 찾는 것
이 simple regression
Y
Error e
X
Yonsei Univ.
7
ICR (Illumination Compensation based on the MRM)
- 조명근사를 위한 선형모델
- 조명 위치에 따른 얼굴영역 안의 밝기 보정
- 인식을 위한 전처리 단계로 사용
Example face clip processed with ICR
Yonsei Univ.
8
ICR
center value
ADD
Yonsei Univ.
9
ICR v.s Histogram Equalization
- segmentation -
Original input image
Threshold 기법을 이용한
세그멘테이션이 용이해짐
Image with ICR
Image with Gamma Correction
Threshold 기법을 이용한
세그멘테이션이 더욱 어려워짐
Image with H.E
Yonsei Univ.
10
ICR v.s Histogram Equalization
- face clip image -
왼쪽 조명으로 인해
오른쪽 면이 상대적으로 어두운 영상
Original input image
Image with ICR
얼굴양쪽이 비교적 고른 명암도를
가짐
Image with H.E
왼쪽과 오른쪽의 명암도 차이가 더욱
심해짐
얼굴양쪽이 비교적 고른 명암도를
가짐
Image with H.E & ICR
Yonsei Univ.
11
얼굴인식 전처리(preprocessing) 과정
x
x
Normalization
Eye Marking manually
Rotation
ICR
Scaling
Zero-One
Normalization
Clipping face region
Histogram
Equalization
Masking
Feature
Extraction
Zero-Mean
Unit Variance
common procedure
Yonsei Univ.
12
Nearest Neighbor Classifier Using PCA
•The most popular
technique
in face recognition
Input face
Preprocessing
&
Normalization
EigenFaces
Operator
Feature Vector of
Principal Components
•Ranking the face
feature
from PCA with
L1 or L2 metric
Face DB
•Subspace Method
(face feature space)
NNC
Face Recognition
Yonsei Univ.
13
전처리 기법에 따른 인식률 비교
- ORL Database -
ORL face images
• 총 40명에 대하여 개인별 10장씩 촬영
• 흑백영상
• 표정변화, 포즈변화 포함, 얼굴변화가 매우 큰 데이터베이스
• 얼굴인식 실험에 널리 쓰임
Yonsei Univ.
14
전처리 기법에 따른 인식률 비교
- ORL Database RANK 1 인식률 비교
ICR 적용 여부에 따라
•ICR을 적용하지 않은 경우, 상위 1개의
주성분을 제거하였을 때 인식률 최상
•조명에 의한 영향을 줄이 기 위해 상위 n
개의 주성분을 제거하는 기존의 방법론 결
과와 일치하는 결과
•ICR을 적용한 경우는 최상위 주성분을 포
함할 때 인식률 최상
•Orl : 정규화 수행 하지 않음
•ICR 적용 시 높은 인식률 달성
•HE : 히스토그램 이퀄라이즈 수행
•ICR : ICR 수행
•HE & ICR : 히스트그램 이퀄라이즈 및 ICR 수행
•W/O # : 상위 #개의 주성분 값 제거 의미
Yonsei Univ.
15
전처리 기법에 따른 인식률 비교
- ORL Database -
RANK 별 인식률
•ICR을 적용하지 않은 경우가
Rank에 무관하게 가장 높은 인식률
을 보임
Yonsei Univ.
16
전처리 기법에 따른 인식률 비교
- Our Database -
Database
• 총 200명에 대하여 개인별 1장씩 보유
• 졸업앨범 사진 스캔
실험방법
• 200장을 학습하고, 영상을 좌우로 뒤집어 다시 200장을 테스트함
RANK 별 인식률
•ICR을 적용하지 않은 경우가
Rank에 무관하게 가장 높은 인식률
을 보임
•ORL 데이터와 동일한 결과
Yonsei Univ.
17
전처리 기법에 따른 인식률 비교
- Yale Database -
Yale face images
• 총 15 명에 대하여 개인별 11장씩 촬영
• 흑백영상
• 11가지 다른 촬영 조건의 정면 얼굴
- 중앙조명, 행복, 왼쪽조명, 안경, 무표정, 오른쪽조명, 슬픔, 졸 림,
놀람, 윙크
• 이중 조명에 대한 45장의 영상을 실험에 사용
- 가운데 조명 학습, 좌우 조명에 대해 테스트
Yonsei Univ.
18
전처리 기법에 따른 인식률 비교
- Yale Database RANK 1 인식률
ICR 적용
ICR 사용하지 않은 경우,
상위 3개 제거시 가장 높은 인식률 보임
ICR 적용
하지 않음
•ICR을 적용한 경우가 그렇지 않은
경우에 비해 월등히 높음
상위 고유벡터 제거 수
Yonsei Univ.
19
SHAPE 정보 활용
Yonsei Univ.
20
얼굴모양정보 = 유형정보 = 턱모양 ?
Yonsei Univ.
21
얼굴유형을 위한 턱의 특징점 지정
• 사람마다 다른 턱 모양을 가지므로 이
를 feature로 사용
• 수작업을 통해 13 개의 특징점 마킹
– 정규화를 위한 두 눈 point : 2
– 턱 선 위의 point : 11개
• 입력된 포인트의 x,y 좌표 값을 이용
Yonsei Univ.
22
얼굴유형 정보 표현
1. Distance & Angle
• 눈 과 턱선 점과의 관계
• 턱선 점들간의 관계
2. Cubic Spline Approximation
Yonsei Univ.
23
영상 정규화
•
수작업을 통해 얻어진 눈의 좌표를 이용해 영상을 scaling & rotation 시
정규화 된 좌표 값을 얻는다.
Rotation
•
두 눈의 좌표를 이용하여, 얻은 모든 턱 선 좌표들을 두 눈이 수평일 때의
것으로 변환
Scaling
•
•
Distance : 두 눈 사이의 거리를 1로 봤을 때를 고려하므로 별도의
scaling 과정 필요 없음
Cubic Spline approximation : Approximation 한 좌표들을 두 눈 사이의
거리를 기준으로 하여 변환
Yonsei Univ.
24
영상 정규화 예
Rotation only
Rotation & Scaling
Yonsei Univ.
25
얼굴 유형 표현 방법 1
- with eye -
Distance & angle with eyes
distances
angles
– Distance
• 두 눈 사이를 1로 봤을 때의 distance
– 왼쪽 눈을 기준으로
• Left eye – 턱 포인트 사이의 거리
• Left eye – 턱 포인트1 와
• Left eye – 턱 포인트2 사이의 angle
• Features : 21개
– 오른쪽 눈을 기준으로
• right eye – 턱 포인트 사이의 거리
• right eye – 턱 포인트1 와
• right eye – 턱 포인트2 사이의 angle
• Features : 21개
– 1 사람 당 42개의 features
• Feature dimension : 42
Yonsei Univ.
26
얼굴 유형 표현 방법 1
- without eyes -
Distance & Angle without eyes
angle
distance
– Distance
• 두 눈 사이를 1로 봤을 때의
distance
• 턱 선 포인트 i와 턱 선 포인트 i+1 사
이의 거리
• Features : 10개
– Angle
• 턱선 포인트i와 턱선 포인트 i+1 사이
의 각도
• Features : 10개
– 1 사람 당 20개의 features
• Feature dimension : 20
Yonsei Univ.
27
얼굴 유형 표현 방법 2
Cubic Spline Approximation
– 턱 선 좌표(points) 들을 이용하여, 턱 선(line)을
approximation
– Parameter
• Uncertainty : 주어진 점에 대해 얼마나 fix 시킬 것인지
• Upper bound : discrete weighted mean square
distance of the approximation from the data
– 앞선 approach 와는 달리, rotation & scaling (눈 사이의 거
리 50) 정규화 작업 선행
– Line으로부터 feature 추출
• 64 개의 해당 x 좌표에 대한 y좌표 값
• 0 – 1 사이의 값으로 정규화
– Features : 64 dimension
Yonsei Univ.
28
얼굴 유형 표현 방법 2
Uncertainty : 10.0
Upper bound : 1.0
Yonsei Univ.
29
얼굴 유형 표현 검증
- KMEANS CLUSTERING -
•
•
데이터
– 디자이너에 의해 그려진 캐리커쳐 영상
• 사진영상 보다 턱 선을 정확하게 표현해 줌
– 8개의 카테고리
• 남자
– 유치원생, 초등학생, 중학생, 일반(고등학생 포함)
• 여자
– 유치원생, 초등학생, 중학생, 일반(고등학생 포함)
카테고리 별 클러스터링
– K-means clustering
– 카테고리 별 영상 수를 고려하여, 클러스터 수 조절
Yonsei Univ.
30
얼굴 유형 표현 검증
Approach2 – cubic spline approximation
남자 중학생 70명, cluster 수 : 7
Cluster 1
Cluster 2
Yonsei Univ.
31
얼굴 유형 표현 검증
Cluster 3
Cluster 4
Yonsei Univ.
32
문제점
얼굴유형을 턱선 위주로 표현하였을 때, 이는 얼굴의 포즈에 매우
민감하므로 정면얼굴에만 유용.
보다 높은 인식 성능을 요구하는 응용에서, 사용자의 호의적인 태도
가 보장될 때 사용할 수 있는 정보
Yonsei Univ.
33