Transcript Bir Ba*ar* Hikayesi - Araştırma

Boğaziçi Üniversitesi
TÜBİTAK
Başarılı (ve Başarısız) Proje
Önerilerinden Dersler
Lale Akarun
Tübitak Proje Deneyimim
• 5 başarılı proje önerisi 
•
•
•
•
•
Tekstil için renkli imge işleme:1994
3B Yüz Tanıma: 2004
İşaret Dili Eğitmeni: 2007
Engelliler için Bilgi Terminali: 2009
Afet Yönetim Sistemlerinde El Hareketine Dayalı İnsan
Bilgisayar Etkileşimi: 2009
• Başarısız proje önerisi 
• Yaşlılar için çok-kipli destekli akıllı yaşam ortamı:
2010,2011
L. Akarun
Proje Özeti
Proje No: 108E161
Proje Adı: Afet Yönetim Sistemlerinde El Hareketine Dayalı İnsan
Bilgisayar Etkileşimi
Kuruluş: Boğaziçi Üniversitesi
Proje Yürütücüsü: Lale Akarun
Araştırmacılar: Doktora öğrencileri: Yunus Emre Kara, Mustafa Furkan Kıraç,
Cem Keskin, İsmail Arı, Pınar Sağlam, Neşe Alyüz, Ahmet Alp Kındıroğlu, M.
Nuri Arar, Fatma Güney
Alman Proje Ortakları: Prof. Rainer Stiefelhagen, Dr. Hazım Kemal Ekenel,
Hua Gao, Lukas Rybok (Karlsruhe Institute of Technology)
Proje Süresi: 36 Ay
Proje Bütçesi: 227.000,00 TL (TÜBİTAK), ~20,000 € (Almanya)
A. Erden
3
Ortak proje yapmaya neden gerek
duydum?
• Karşı taraf, Karlsruhe Institute of Technology
Almanya’nın en iyi CS bölümü
• Öğrencilerimin KIT’te bulunması onlara çok şey
katacak
• Büyük proje tecrübeleri var; ortak proje yapabiliriz
• Prof. Stiefelhagen Fraunhofer Enstitüsünde de
görevli; endüstriye yönelik ARGE yapıyorlar
• Bizim el hareketi tanıma çalışmalarımız var; onların
kafa izleme/yüz tanıma: Tamamlayıcı uzmanlıklar
A. Erden
4
Nasıl başladık?
• 2008 baharı: Prof. Stieflhagen’i burada bir
konferansa konuşmacı olarak çağırdık (Tübitak
desteği ile)
• Buradayken ortak proje çağrılarına baktık
• IntenC
A. Erden
5
Nasıl başladık?
• İki olası konu belirledik:
– 1. robotlar;
– 2. İnsan-bilgisayar etkileşimi
• E-mail ile yazıştık; her iki konuda birkaç
paragraf yazdık
• Prof. Stieflhagen konuyu Fraunhofer’e de
sordu; ikinci konuyu beğendi; proje yazımına
başladık
Ön hazırlık aşaması...
• Benzer konuda bir Tübitak projesi
tamamlamıştık: İşaret Dili Eğitmeni
• Bu konuda yayınlarımız vardı
• Doktorasını tamamlamak üzere olan doktora
öğrencim vardı
7
Proje Fikri
•
•
•
•
El hareketlerinin büyük ekranlarda kullanılması
El hareketlerini tanıyabiliyoruz
Bu nerede faydalı olur?
Üstüne dokunamayacağınız duvar
büyüklüğünde ekranlarda
• Bunlar nerede var?
• Afet Yönetim Merkezlerinde
Proje Fikri
• Video duvarlarla etkileşim için el hareketi
Proje yazımı
• Projenin büyük kısmını doktora öğrencim Oya Aran
yazdı; diğer doktora öğrencilerim literatür taraması
yaptılar, iş paketlerini yazdılar
• Afet yönetimi tecrübem, kullanım örneği bulmak için
faydalı oldu.
• Üniversite yönetimi İBB ile ilişkiler için destek oldu
• O dönem başvuru formu çok sadeydi ve sadece
ingilizceydi; o nedenle başvuru çok kolay oldu.
A. Erden
10
İş Paketleri
• WP1: Sample Scenario design and collecting data from a model room
• WP2: Multi-camera 3D tracking of humans with a skeletal model
• WP3: Gesture recognition
• WP4: Gesture segmentation and spotting
• WP5: Fusion of gesture, head pose and posture
• WP6: Demonstrator prototype integrator
Proje sırasında el hareketi önem
kazandı
Ucuz Derinlik kameraları
Derinlik imgesi üzerinde insan
vücudu bulma
El hareketi ile insan-bilgisayar
etkileşimi kolaylaştı
Internet tarayıcısının el hareketleriyle kontrolü
Projeden kazanımlar
• El hareketi tanıma konusunda adımızı duyurduk:
– İki kitap bölümü;
– ICCV, ECCV, CVPR, SIU, HBU bildirileri
– İki uluslararası, bir ulusal ödül
• 6 öğrencim değişik zamanlarda KIT’te çalıştı.
• KIT ekibi ile beraber yaz proje geliştirme çalıştayına
katıldık; ortak bildiri yayınladık; dergi yayınları
hazırlanıyor.
• KIT’ten Dr. Hazım Ekenel bir dönem bölümümüzde
misafir öğretim üyesi olarak çalıştı.
Proje Yayınları
El hareketi tanıma
Yüz ve vücut analizi
•
•
•
•
•
•
•
Cem Keskin, Furkan Kıraç, Yunus Emre Kara, Lale Akarun,
“Hand Pose Estimation and Hand Shape Classification using
Multi--layered Randomized Decision Forests”, ECCV 2012.
Cem Keskin, Furkan Kıraç, Yunus Emre Kara, Lale Akarun,
“Randomized Decision Forests for Dynamic Hand Shape
Classification”, CVPR Workshop on Gesture Recognition, June
2012.
C. Keskin, İ. Arı, T. Eren, F. Kıraç, L. Rybok, H. Ekenel, R.
Stiefelhagen, ve L. Akarun, "Vision Based Hand Puppet,"
Proceedings of eNTERFACE 2010, The Summer Workshop on
Multimodal Interfaces, 2010, sf. 10-17
Cem Keskin, Furkan Kıraç, Yunus Emre Kara, Lale Akarun,
"Real Time Hand Pose Estimation using Depth Sensors", IEEE
ICCV 2011.
Keskin C., Cemgil A. T., and Akarun, L. "DTW Based Clustering
to Improve Hand Gesture Recognition", HBU 2011 .
Keskin, C.; Cemgil, A.T.; Akarun, L.; , "Explicit duration models
for isolated hand gesture recognition," SIU 2011, Antalya,
Nisan 2011.
•
•
•
•
•
•
A. Erden
Murat Arar, Hua Gao, H. Kemal Ekenel, Lale Akarun,
“Selection and Combination of Local Gabor Classifiers for
Robust Face Verification”, BTAS 2012, Washington DC.
N. Alyuz, B. Gokberk, L. Spreeuwers, R. Veldhuis, L. Akarun,
“Robust 3D Face Recognition in the Presence of Realistic
Occlusions”, International Conference on Biometrics, April
2012, India.
Yunus Emre Kara, Lale Akarun (2011). Human action
recognition in videos using keypoint tracking. SIU 2011,
Antalya, Nisan 2011.
Neşe Alyüz, Berk Gökberk, Luuk Spreeuwers, Raymond
Veldhuis, Lale Akarun, “Geri Çatma ve Bölgesel
Sınıflandırıcılar ile Örtmeye Dayanıklı 3B Yüz Tanıma”, SIU
2011, Antalya, Nisan 2011.
Furkan Kıraç, Lale Akarun, "Real-time Pose Tracking Based on
a 3D Skeletal Model Using Multiple Cameras", SIU 2011,
Antalya, Nisan 2011.
İ. Arı, F. O. Alsaran, ve L. Akarun, "Görü-tabanlı Gerçekzamanlı Duygu Tanıma," SIU 2011, Antalya, Nisan 2011.
B. E. Demiröz, İ. Arı, O. Eroğlu, A. A. Salah, and L. Akarun,
"Feature based Tracking on a Multi-Omnidirectional Camera
Dataset, International Symposium on Communications,
Control and Signal Processing (ISCCSP), Rome, 2012.
15
Proje web sayfası:
http://www.cmpe.boun.edu.tr/pilab/doku.php?id=projects:gems
Tavsiyeler
• Bilimsel olarak hakim olunan bir konuda proje
önerisi hazırlanması; bu konuda yayınlarınızın
olması
• Uygulama alanının çarpıcı olması
• Ancak, Avrupa çerçeve projelerinden farklı
olarak, ürün ve prototip geliştirmeye yönelik
değil, temel ya da uygulamalı araştırma
yapılması, yayın yapılması
A. Erden
17
Başarısızlıklardan çıkarılacak
dersler
• Özgün katkı: hakemler uygulamaya yönelik projeleri
sevmiyor; temel bir konuda olmalı; belirli yeni bir
yöntemi uygulamayı önerin
• Literatür taraması çok iyi olmalı; eğer varsa, Türk
yazarların yayınlarını unutmayın
• Proje konusu: Beğenilmeyen konuda ısrar etmeyin;
projeyi başka yere sunun: BAPa, endüstriye.
• Çok zaman harcamayın, olursa ne iyi diye yaklaşın
• Nasıl? Proje hazırlama eğitimin parçasıdır:
Öğrencilerinizi sürece katın