Transcript Tổng quan về FACE AGING

LÊLÊ HOÀI BẮC – KHOA CNTT - ĐHKHTN
Giới thiệu bài toán
Quá trình phát triển của khuôn mặt
Ứng dụng
Các hướng tiệp cận hiện tại
Cơ sở dữ liệu
Những thách thức và hướng phát triển
4/9/2015
2
4/9/2015
3
Sinh trắc học
Hướng sinh lý
Hướng hành vi
Khuôn mặt
Keystroke
Vân tay
Chữ ký
Bàn tay
Giọng nói
Tròng mắt
ADN
4/9/2015
4
4/9/2015
5
Hệ thống
nhận dạng
A
Người A
Hệ thống
nhận dạng
A
???
30 tuổi
40 tuổi
30 tuổi
4/9/2015
Hệ thống
dự đoán
khuôn mặt
tương lai
6
Face Recognition
Face Aging
Dựa trên đặc trưng riêng của từng
người
Dựa trên đặc trưng chung của nhiều
người trong cùng 1 nhóm tuổi
Không thể nhận dạng được một đối
tượng mới (chưa có trong tập dữ liệu
huấn luyện).
Có thể đưa ra những dự đoán cho
những đối tượng mới
Không bị ảnh hưởng nhiều bởi yếu tố
giới tính và yếu tố dân tộc
Bị ảnh hưởng rất nhiều bởi 2 yếu tố
giới tính và dân tộc.
4/9/2015
7
4/9/2015
8
Biometrics
Face-related
problems
Face
recognition
Aging
problems
Age
estimation
4/9/2015
Emotion
recognition
Voice-related
problems
Gender
classification
Speakers’
age
recognition
Others (iris,
palm, …)
Others
Aging
progression
9
4/9/2015
10
Cấu trúc khuôn mặt
Hộp sọ
Cơ mặt
4/9/2015
11
Quá trình phát triển của khuôn mặt
20 tuổi
Tăng trưởng và
phát triển
Chủ yếu là sự phát triển và mở
rộng của các mô xương (vùng
đầu, hàm, mũi,…)
Trưởng thành
Chủ yếu là sự phát triển của các mô
mềm (xuất hiện nếp nhăn, chứng sa
mi mắt…)
K. T. Taylor, Forensic Art and Illustration, Boca Raton: CRC Press LLC, 2001
4/9/2015
12
Age
Estimation
Age
Progression
4/9/2015
13
4/9/2015
14
Age estimation
Human
Computer
Interface (HCI)
4/9/2015
Các ứng dụng
quản lý và
giám sát
Hệ thống khai
thác và truy
vấn dữ liệu
Sinh trắc học
15
4/9/2015
16
4/9/2015
17
Mean Absolute Error (MAE) cho biết giá
trị trung bình về sự sai khác giữa tuổi dự
đoán và tuổi thật của tất cả các ảnh trong
tập dữ liệu thử nghiệm.
Cumulative Score (CS) cho biết tỉ lệ ảnh
có tuổi dự đoán sai khác so với tuổi thật
không vượt quá giá trị cho trước.
4/9/2015
18
Age Estimation
Rút trích đặc
trưng
Anthropometric
Model
4/9/2015
Active
Appearance
Model
Thuật toán ước
lượng tuổi
Appearance
Model
Phân lớp
(Classification)
Hồi quy
(Regression)
19
Kwon,
1999[3]
Horng
2001 [4]
Dehshibi,
2010 [5]
4/9/2015
- 6 tỉ lệ về khoảng cách hình học.
- Phân loại các ảnh vào 3 nhóm: trẻ
con, thanh niên, người già
- Tập dữ liệu: 47 ảnh
- Độ chính xác: 100%
- 2 tỉ lệ về khoảng cách + thông tin nếp
nhăn ở trán, góc mắt, má.
- Phân loại các ảnh vào 4 nhóm: trẻ con,
thanh niên, trung niên, người già
- Tập dữ liệu: 230 ảnh
- Độ chính xác: 90.5% (116 ảnh huấn
luyện) – 81.6% (114 ảnh thử nghiệm)
- 7 tỉ lệ về khoảng cách + mật độ nếp nhăn .
- Phân loại các ảnh vào 4 nhóm: dưới 15,
16-30, 31-50, trên 50 tuổi
- Tập dữ liệu: IFDB (3600 ảnh)
- Độ chính xác: 86.64%
20
Sử dụng mô hình AAM để biểu diễn khuôn
mặt.
Mô hình AAM được đề xuất bởi Cootes,
Taylor, và Edwards [6] đề xuất năm 1998
Bao gồm shape và texture
4/9/2015
21
Lanitis [7] rút trích đặc trưng của khuôn mặt
bằng mô hình AAM với 68 điểm landmark.
Ricanek, 2009 [8] sử dụng đặc trưng AAM
với 169 điểm landmark.
Geng [9] : Aging Pattern Subspace
4/9/2015
22
Các ảnh khuôn mặt được chia ra thành
nhiều vùng nhỏ hơn, rút trích đặc trưng
cho từng vùng và kết hợp chúng lại với
nhau.
Đặc
trưng 1
Vector
đặc trưng
Đặc
trưng n
4/9/2015
23
Yan [10] [11]
YAMAHA
Nam: MAE = 4.94
Nữ : MAE = 4.38
FG-NET
MAE = 4.95
Suo[12]
FG-NET
MAE = 5.974
4/9/2015
24
Phương pháp
Cơ sở dữ liệu – độ
chính xác
Günay[13]
Đặc trưng LBP (Local Binary
Pattern) + bộ phân lớp láng giềng
gần nhất
FERET – 80%
Gao [14]
Đặc trưng Gabor + LDA (Linear
Discriminant Analysis)
4784 ảnh – 91%
Guo [15] [17]
BIF (Biologically inspired feature)
FG-NET – MAE = 4.77
Yamaha:
Nam : MAE = 3.47
Nữ : MAE = 3.91
4/9/2015
25
AAM
Đặc trưng
toàn cục
LBP
Hàm ước
lượng tuổi
Đặc trưng
cục bộ
Tuổi
khởi tạo
Hàm hiệu
chỉnh tuổi
Tuổi
Tuổi hiệu
chỉnh
Shape Free Image
4/9/2015
26
4/9/2015
27
Tuổi
Bộ phân
lớp nhị
phân
Tuổi
4/9/2015
28
4/9/2015
29
The Curious Case of
Benjamin Button - 2008
Age
progression
Máy dự đoán
khuôn mặt
tương lai
Tìm người thân
bị thất lạc
Phẫu thuật
thẩm mĩ
Kĩ xảo điện ảnh
Nhận dạng
khuôn mặt bất
biến với tuổi tác
Dự đoán tác
động của thuốc
lá, ngoại cảnh,
…
[4]
[1]
[2]
4/9/2015
[3]
30
4/9/2015
31
Age
Progression
Mô hình
khuôn mặt
Tri thức
4/9/2015
Thống kê
Tổng hợp
khuôn mặt
Tri thức
Thống kê
32
Tri thức
Thống kê
Hình dạng
Hình ảnh
ASM
MRI
4/9/2015
Diện mạo
AAM
3D Morphable
Compositional
33
Kết hợp hình dạng (shape) và vân
(texture) [9]
PCA
4/9/2015
Feature Vector
(30 x 1)
34
Blanz và Vetter đưa ra vào năm 1999 [21]
4/9/2015
35
Xây dựng cây phân cấp để mô hình khuôn
mặt [15]
4/9/2015
36
Tri thức
Hướng dữ
liệu
4/9/2015
Hướng cơ
chế
Thống kê
Hướng
diện mạo
37
Sử dụng mô hình AAM
Tạo ra khuôn mặt tổng hợp từ tập huấn luyện
rồi từ đó điều chỉnh (shape, texture) cho phù
hợp với khuôn mặt cần xử lý.
 Lanitis et al. [10], Patterson et al. [22] (Sử dụng AAM)
 Geng et al. [12] (sử dụng AGES)
 Tiddeman et al. [23]
4/9/2015
38
Grammatical Face model(Suo et al. [15])
4/9/2015
39
3D Face Aging
 Ý tưởng chính: sử dụng mô hình mặt người 3D
(3D Morphable Face Model) để biểu diễn khuôn
mặt và sử dụng SVR phi tuyến để xây dựng hàm
dự đoán tuổi.
• Scherbaum et al. [24]
• O’Toole et al. [25]
4/9/2015
40
Sử dụng mô hình AAM cải tiến
PCA
Shape Model
Ảnh đầu
vào
Gabor
wavelet
network
Texture Model
Shape vector
Texture vector
Age
Progression
Ảnh kết
quả
Mô hình AAM cải tiến
4/9/2015
41
Sử dụng mô hình AAM – Huấn luyện
4/9/2015
42
Sử dụng mô hình AAM – Tổng hợp khuôn
mặt
4/9/2015
43
4/9/2015
44
FG-NET [26]
MORPH [27]
Cơ sở dữ liệu người Việt (VLF) – tự thu
thập
4/9/2015
45
 Số lượng ảnh: 1002 (ảnh màu hoặc mức xám độ
phân giải cao)
 Số lượng người: 82
 Độ tuổi: 0 – 69
 Thông tin kèm theo:
 68 điểm mốc đánh dấu hình dạng cho từng
khuôn mặt
 Đặc điểm:
 Có sự biến thiên lớn về ánh sáng, hướng và cảm
xúc
 Ảnh 0 - 20 tuổi chiếm đa số
4/9/2015
46
Gồm 2 phần
 Phần 1:
• Số lượng ảnh: 1724
• Số lượng người: 515
 Phần 2:
• Số lượng ảnh: 20000
• Số lượng người: 4000
Độ tuổi: 0 – 68
Thông tin kèm theo:
 Tuổi, giới tính, chủng tộc
Đặc điểm:
 Không kèm theo thông tin đánh dấu hình dạng
khuôn mặt
4/9/2015
47
 Số lượng ảnh: 326 (ảnh màu hoặc mức xám độ
phân giải cao)
 Số lượng người: 24
 Số lượng gia đình: 4
 Độ tuổi: 1 – 80
 Thông tin kèm theo:
 68 điểm mốc đánh dấu hình dạng cho từng
khuôn mặt
 Đặc điểm:
 Ảnh 0 - 20 tuổi chiếm đa số
 Có thêm thông tin về quan hệ gia đình
4/9/2015
48
Các yếu tố tác động:




Giới tính
Cảm xúc
Dân tộc
Di truyền
Thu thập dữ liệu thử nghiệm
Xây dựng các hệ thống ước lượng tuổi
Xây dựng các hệ thống dự đoán khuôn
mặt
4/9/2015
49
Cải tiến phần xử lý texture của các
phương pháp sử dụng AAM để quá trình
dự đoán khuôn mặt đạt kết quả cao hơn.
Sử dụng đặc trưng cục bộ khác với mức
độ ngữ nghĩa cao hơn.
Phát triển các phương pháp hiện tại (trên
2D) lên 3D (sử dụng mô hình mặt người
3D để biểu diễn khuôn mặt).
4/9/2015
50
Dr. Karl Ricanek, Jr. (Associate
Professor).
Director of Face Aging Group .
University of North Carolina Wilmington
Computer Science Dept.
4/9/2015
51
http://www.faceaginggroup.com/
4/9/2015
52
4/9/2015
53
4/9/2015
54
4/9/2015
55
4/9/2015
56
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
The Amazing Aging Machine (cập nhật ngày 1 tháng 9 năm 2010)
http://www.redshiftnow.ca/aging/default.aspx
Barbara A. Martin Bailey, (2009), “Forensic Art: age progression,” Forensic Magazine,
http://www.forensicmag.com/articles.asp?pid=262.
How smoking accelerates the Aging process, (cập nhật ngày 1 tháng 9 năm 2010),
http://www.gizmag.com/how-smoking-accelerates-the-aging-process/11191/
Koch, R. M. Gross, M. H. Carls, F. R. Von Buren, D. F. Fankhauser, F. Parish, Y. I. H.
(1996), “Simulating Facial Surgery Using Finite Element Models,” Proc. ACM
SIGGRAPH, pp. 421-428.
Taylor, K. T. (2001), Forensic Art and Illustration, CRC Press LLC, Boca Raton.
W. B. Horng, C. P. Lee and C. W. Chen, Classification of Age Groups Based on Facial
Features, Tamkang Journal of Science and Engineering, vol. 4, no. 3, pp. 183-192, 2001.
Y.H. Kwon, N. D. V. Lobo, Age Classification from facial images, Computer Vision and
Image Understanding, vol. 74, pp. 1-21, 1999.
J. Hayashi, M. Yasumoto, H. Ito, Y. Niwa, and H. Koshimizu, Age and Gender Estimation
from Facial Image Processing, the 41st SICE Annual Conference, vol. 1, pp. 13 -18, Aug.
2002.
Cootes, T. Edwards, G. Taylor, C. (1998), “Active Appearance Models,” Proc. European
Conference on Computer Vision, vol. 2, pp. 484-498.
Lanitis, A. Taylor, C. Cootes, T. (2002), “Toward Automatic Simulation of Aging Effects
on Face Images,” IEEE Trans. On PAMI, 24(4), pp. 442-455.
4/9/2015
57
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
K. Ricanek , Y. Wang , C. Chen , S. J. Simmons, “Generalized multi-ethnic face ageestimation”, Proceedings of the 3rd IEEE international conference on Biometrics: Theory,
applications and systems, p.127-132, September 28-30, 2009.
Geng, X. Zhou ZH. Smith-Miles, K. (2007), “Automatic Age Estimation Based on Facial
Aging Patterns,” IEEE Transactions of Pattern Analysis and Machine Intelligence, 29(12),
pp. 2234-2240.
S. Yan, M. Liu, T. S. Huang, Extracting Age Information from Local Spatially Flexible
Patches, ICASSP, 2008.
S. Yan, Xi Zhou, Ming Liu, Mark Hasegawa-Johnson, Thomas S. Huang, Regression
from patch-kernel, cvpr, pp.1-8, 2008 IEEE Conference on Computer Vision and Pattern
Recognition, 2008.
Suo, J. Min, F. Zhu, S. Shan, S. Chen, X. (2007), “A Multi-Resolution Dynamic Model for
Face Aging Simulation,” Proc. IEEE Conf. on CVPR.
A. Günay, V. Nabiyev, “Automatic Age Classification with LBP”, Proc. International
Symposium on Computer and Information Sciences, 2008.
F. Gao, H. Ai, “Face Age Classification on Comsumer Images with Gabor Feature and
Fuzzy LDA Method”, Proc. International Conference on Advances in Biometrics, Lecture
Notes In Computer Science, vol. 5558, pp. 132-141, 2009.
G. Guo, G. Mu, Y. Fu, and T. S. Huang, “Human Age Estimation Using Bio-Inspired
Features”, Proc. IEEE Conf. on CVPR, 2009.
M. Riesenhuber, T. Poggio, “Hierachical models of object recognition in cortex”, Nature
Neuroscience, 2(11): 1019-1025, 1999.
G. Guo, G. Mu, Y. Fu, C. Dyer, T. S. Huang, “A Study on Automatic Age Estimation
Using a Large Database”, Proc. IEEE Conf. on Computer Vision, 2009.
4/9/2015
58
21. Blanz, V. Vetter, T. (1999), “A Morphable Model for the Synthesis of 3D
Faces,” Proc. ACM SIGGRAPH, pp. 187-194.
22.
23.
24.
25.
26.
27.
Patterson, E. Ricanek, K. Albert, M. Boone, E. (2006), “Automatic Representation
of Adult Aging in Facial Images,” IASTED International Conference on Visualization,
Imaging, and Image Processing, Spain.
Tidderman, B. Burt, D. M. Perrett, D. (2001), “Prototyping and transforming facial
texture for perception research,” IEEE Computer Graphics and Applications, 21(5),
pp. 42–50.
Scherbaum, K. Sunkel, M. Seidel, H.P. Blanz, V. (2007), “Prediction of Individual
Non-Linear Aging Trajectories of Faces,” Proc. EUROGRAPHICS, Prague, Czech
Republic, 26(3), pp. 285-294.
O’Toole, A.J. Price, T. Vetter, T. Bartlett, J.C. Blanz, V. (1999), “3D shape and 2D
Surface Texture of Human Faces: The ‘Role’ of ‘Averages in Attractiveness and
Age’,” Image and Vision Computing, 18(1), pp. 9-20.
The FG-NET Aging Database (2007),
http://webmail.cycollege.ac.cy/∼alanitis/fgnetaging/.
Ricanek, K. Jr. Tesafaye, T. (2006), “MORPH: a longitudinal image database of
normal adult age-progression,” Proceedings of the 7th International Conference on
Automatic Face and GestureRecognition (FGR ’06), Southampton, UK, pp. 341–
345.
4/9/2015
59