Transcript Mô hình kết hợp giữa moment Zernike và mạng Nơron nhân tạo cho

Mô Hình Kết Hợp Giữa Moment
Zernike Và Mạng Nơron Nhân
Tạo Cho Bài Toán Dò Tìm Biên
Của Mặt Người Trong Ảnh
Đặng Thanh Hải, Lê Hoàng Thái, Lê Hoài Bắc
Nội dung
• Bài toán dò tìm biên của mặt người trong ảnh
• Các phương pháp dò tìm biên thông dụng
• Dò tìm biên khuôn mặt dựa vào moment hình học
zernike kết hợp mạng Nơron nhân tạo.
• Xây dựng vector đặc trưng Zernike.
• Mạng nơron nhân tạo dò tìm biên khuôn mặt dựa vào
vector đặc trưng Zernike.
• Kết quả thực nghiệm
Bài toán dò tìm biên của mặt người
• Mục tiêu là xác định các điểm biên của khuôn mặt.
Dò tìm biên của
mặt người
Các phương pháp dò tìm biên thông dụng
• Hai nhóm phương pháp thông dụng là:
– Phương pháp toàn cục thực hiện dò tìm toàn bộ gương mặt;
– Phương pháp cục bộ thực hiện dò tìm mặt người qua vị trí của
các thành phần gương mặt (mắt, mũi, miệng . . .) và gom nhóm
các thành phần này lại.
Phương pháp dò tìm biên đề nghị
• Thuộc nhóm Phương pháp toàn cục , gồm 2 bước:
– Xây dựng vector đặc trưng Zernike.
– Mạng nơron nhân tạo dò tìm biên khuôn mặt dựa vào vector đặc
trưng Zernike.
Mô hình phương pháp đề xuất
Xây dựng vector đặc trưng hình học Zernike
vector đặc trưng hình học zernike ZNM= (z1,z2, …, zn,m …)
Trong đó:
znm= Anm=
n 1


x
f ( x, y )
V
*
nm
( x,y), (1)
y
Trong đó x2+ y2 <=1;
V
*
nm
(x,y) = Vn-m(x,y);
Vnm(x,y)=Vnm(r,=  )= Rnm(r) exp (jm );
(2)
x  y là khoảng cách của vector từ điểm gốc đến điểm (x,y);
r=
 = arctan(x/y) là góc tạo bởi vector r và trục x theo chiều kim đồng hồ;
Rnm(r) là đa thức radial được định nghĩa:
2
Rnm(r) =
2
( n  | m |) / 2

s0
(  1) ( n  s )!
s
 n | m |
  n | m |

s !
 s  !
 s!
2
2

 

r
n2s
Trong nghiên cứu, chọn n=10(số lần lặp), m=5(bậc đa thức).
(3)
Mạng Perceptron đa lớp cho dò tìm biên
khuôn mặt
Huấn luyện mạng perceptron đa lớp và kiểm
tra thử nghiệm
• giai đoạn huấn luyện gồm 4 bước:
– Tính vector moment Zernike cho tất cả các ảnh trong cơ sở dữ liệu thử
nghiệm(số lượng ảnh trong cơ sở thử nghiệm là N).
– Xây dựng cơ sở dữ liệu huấn luyện: chọn ngẫu nhiên M ảnh từ cơ sở dữ
liệu thử nghiệm (M<<N); xác định tập các vector moment Zernike Zi
tương ứng cho M ảnh huấn luyện.
– Đánh điểm biên bằng tay để xác định ranh giới của vùng khuôn mặt đối
với mỗi ảnh trong cơ sở dữ liệu huấn luyện, tập điểm biên này là tập đại
diện đường biên Ci của từng khuôn mặt đang xử lý trong ảnh.
– Huấn luyện mạng perceptron ba lớp trên tập M ảnh huấn luyện với cặp
(Zi,Ci).
• Để kiểm tra và đo lường hiệu suất thực hiện của mạng
perceptron ba lớp sau khi huấn luyện, chúng tôi thử
nghiệm trên (N-M) ảnh còn lại trong cơ sở dữ liệu thực
nghiệm.
Kết quả thực nghiệm
•
•
•
•
Cơ sở dữ liệu Jaffe chứa 213 ảnh mức xám của 10 phụ nữ Nhật Bản với 7
nét mặt biểu diển các cảm xúc khác nhau(6 nét mặt biểu diển cảm xúc cơ
bản và một nét mặt trung tính). Mỗi nét mặt có từ 3 đến 4 ảnh nhìn trực diện.
Cơ sở dữ liệu Jaffe được thu thập và xây dựng bởi Miyuki Kamachi, Michael
Lyons, và Jiro Gyoba, khoa Tâm lý học trường Đại học Kyushu Nhật Bản.
Để thu được một cơ sở dữ liệu huấn luyện, chúng tôi lấy ngẫu nhiên 15 ảnh
nét mặt biểu diển các cảm xúc khác nhau, mỗi cảm xúc lấy 2 mẫu khác
nhau, vì thế chúng tôi có 30 cặp (Zi,Ci) mẫu dùng huấn luyện mạng
perceptron ba lớp.
Để có độ chính xác tổng quát về hiệu suất của phương pháp đề xuất, chúng
tôi thực hiện xây dựng 20 cơ sở dữ liệu huấn luyện khác nhau (mỗi cơ sở dữ
liệu huấn luyện thu được gồm 30 cặp (Zi,Ci) bằng cách lấy ngẫu nhiên các
mẫu như đã trình bày ở trên).
Sau khi mạng được học, ứng với mỗi cơ sở dữ liệu huấn luyện, chúng tôi
kiểm tra khả năng hoạt động của mạng trên toàn bộ các ảnh còn lại. Cho
việc kiểm tra, chúng tôi tính tỉ lệ dò tìm điểm biên tốt bằng cách: tính tỉ số
giữa tổng số điểm ảnh nằm trên vùng mặt người được phát hiện bằng mạng
perceptron ba lớp với tổng số điểm ảnh trên vùng mặt được đánh điểm biên
bằng tay.
Kết quả thực nghiệm
Biểu đồ tỉ lệ dò tìm biên tốt trung bình ứng với 20 cơ
sở dữ liệu huấn luyện.
Một số ảnh được dò tìm biên bằng ZM-MLP
Các ví dụ dò tìm biên của mặt. Hàng đầu: ảnh gốc, hàng giữa:khuôn mặt
đã dò tìm bằng mạng perceptron sau khi huần luyện, hàng cuối: khuôn
mặt được xác định điểm biên bằng tay từ các chuyên gia. (a): 95,55% ,
(b): 94,34% , (c): 99,23% , (d): 100%.
Kết luận
• Trình bày một phương pháp mới để dò tìm biên của mặt người trong
ảnh.
• Phương pháp này là sự kết hợp của vector moment hình học Zernike
với mạng nơron nhân tạo (mạng perceptron ba lớp) nhằm xác định vị
trí và ranh giới vùng chứa hình ảnh khuôn mặt.
• Nghiên cứu được thực hiện trên cơ sở dữ liệu Jaffe với các tham số
n=5, m=10 của công thức Zernike và cấu trúc ba lớp của mạng
perceptron (lớp nhập 5 x 10 nút, lớp ẩn =25 nút, lớp xuất =60 nút,
hàm truyền Tanh).
• 20 tập cơ sở dữ liệu huấn luyện mạng được lấy ngẫu nhiên từ Jaffe
(mổi tập gồm 15 x 2 ảnh). Các kết quả đạt được của mô hình ZMANN đề xuất trên 89% (ứng với 213 – 30 ảnh của cơ sở dữ liệu
Jafee) cho thấy tính khả thi của mô hình.
Tài liệu trích dẫn
[1] E. Hjelmas et B. K. Low. “Face detection : A survey”, Computer Vision and Image Understanding, vol. 83,No. 3,2001, pp.
236-274
[2] Mukundan R. and Rmakrishnan K.R., “Moments Functions in Image Analysis Theory and Applications” World Scientific
Publishing, Singapore, 1998.
[3] C-H. Tech, and R.T. Chin, “On image analysis by moment invariants”, IEEE TPAMI, vol. 10, no. 4, 1988, pp. 496-513.
[4] F. Zernike. Physica. 1934
[5] R. Mukundan and K.R. Ramakrishnan, “Fast computation of Legendre and Zernike moments”, Pattern Recognition, vol. 28,
no. 9,1995, pp. 1433-1442.
[6] S. O. Belkasim, M. Ahmadi, and M. Shridhar, “Efficient algotithme for fast computation of Zernike moments”, IEEE 39th
MSCS, vol. 3, 1996, pp. 1401-1404.
[7] J. Gu, H. Z. Shua, C. Toumoulinb, and L. M.Luoa, “A novel algorithme for fast computation of Zernike moments”, Pattern
Recognition, vol 35, 2002, pp. 2905-2911.
[8] G. Amayeh, A. Erol, G. Bebis, and M.Nicolescu, “Accurate and efficient computation of high order zernike moments”, First
ISVC, Lake Tahoe, NV, USA, 2005, pp. 462–469.
[9] J. Haddadnia, M. Ahmadi, and K. Faez, “An Efficient Feature Extraction Method with Peudo Zernike Moment in RBF Neural
Network Based Human Face Recognition System”, EURASIP JASP, vol. 9, 2003, pp. 890-891
[10] S. Alirezaee, M. Ahmadi, H. Aghaeinia, and K.Faez, “A weighted pseudo-zernike feature extractor for face recognition”,
IEEE, ICSMC vol. 3, 2005, pp. 2128-2132
[11] A. Ono, “Face recognition with Zernike moments”, Systems and Computers. Japan vol. 34, No 10, 2003, pp. 26-35
[12] C. Rosenberger, A. Rakotomamonjy, B. Emile "Generic target recognition", EUSIPCO vienne, 2004, pp. 1613-1616
[13] www.kasrl.org/jaffe.html.
[14] Bishop, C.: Pattern Recognition and Machine Learning. Springer Press (2006)
[15]Marcel, S.: Artificial neural networks for pattern recognition: applications to face detection and recognition,
http://www.idiap.ch/˜marcel (2004).
Cảm ơn