اسلاید سمینار
Download
Report
Transcript اسلاید سمینار
گروه بینایی ماشین و
پردازش تصویر
Machine Vision and Image Processing Group (Student Group)
Electronic Research Center of Iran University of Science and Technology
http://mvip.iust.ac.ir
Specific Object Recognition using SIFT
Presentation by:
Amir Azizi
1389 آبان
November 2010
Introduction
Example for specific object recognition:
Search photos on web for the particular places
j. sivic
[email protected]
1
Introduction
Why is it difficult?
j. sivic
[email protected]
2
Challenges
1- Viewpoint
3
[email protected]
Challenges
2- Illumination
4
[email protected]
Challenges
3- Occlusion
5
[email protected]
Challenges
4- Scale
6
[email protected]
Challenges
5- Deformation
7
[email protected]
6- Background
Clutter
Challenges
8
[email protected]
Local Features
New
Local Features (Interest
points or key points):
☺ Corners
☺ Blobs
Dataset
Some of applications:
- Specific object recognition
- Tracking
- Image registration
- Camera calibration
- ….
9
[email protected]
Local Features
Desired Properties of local features:
* Repeatability
- The same feature can be found in several images despite geometric
and photometric transformation
* Distinctiveness
- Each feature has a distinctive description
* Locality
- A feature occupies a relatively small area of the image;
robust to clutter and occlusion
* Quantity
- Number of features
* Efficiency
- Applications that need to speed
[email protected]
10
Local feature-based object recognition
مراحل:
-1آشکارساز (:)Detector
استخراج نقاط کلیدی
-2توصیف کننده (:)Descriptor
ساخت بردار ویژگی برای هر نقطه کلیدی
-3انطباق ()Matching
انطباق بردارهای ویژگی با دیتاست
نیرومندی نسبت به موارد زیر:
-
تغییر نقطه دید
تغییر روشنایی
تغییر شکل و کجی
تغییر اندازه
انسداد
شلوغی و درهم برهمی
سرعت نیز اهمیت دارد
11
[email protected]
Local feature-based object recognition
توصیف کننده ها
-
Hessian-Laplace
Hessian-Affine
Shape Context
Geometric Blur
SIFT Descriptor
SURF Descriptor
آشکارسازها
-
Harris
Harris-Laplace
Harris-Affine
MSER
Salient Regions
SIFT Detector (DoG)
SURF Detector
12
[email protected]
SIFT
SIFT: Scale Invariant Feature Transform
1999 and 2004
13
[email protected]
Hessian Matrix
In mathematics, the Hessian matrix (or simply the Hessian) is the
square matrix of second-order partial derivatives of a function; that
is, it describes the local curvature of a function of many variables.
We want to find Blobs, so
SIFT uses extrema of Hessian matrix trace:
𝐿𝑥𝑥 (𝑥, 𝑦, 𝜎)
𝐻=
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
𝐿𝑥𝑥
𝜕2
𝑥, 𝑦, 𝜎 = 2 𝑃
𝜕𝑥
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = 𝐿𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
14
[email protected]
1- SIFT Detector
. آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند:هدف
1- Lindeberg 1994,1998
2- Koendernik 1984
SCALE-SPACE
𝐿 𝑥, 𝑦, 𝜎 = 𝐺 𝑥, 𝑦, 𝜎 ∗ 𝑓(𝑥, 𝑦)
Scale = σ
15
[email protected]
1- SIFT Detector
SCALE-SPACE
𝐿 𝑥, 𝑦, 𝜎 = 𝐺 𝑥, 𝑦, 𝜎 ∗ 𝑓(𝑥, 𝑦)
𝐿𝑥𝑥 (𝑥, 𝑦, 𝜎) 𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎)
𝐻=
𝐿𝑥𝑦 (𝑥, 𝑦, 𝜎) 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = 𝐿𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐿𝑦𝑦 (𝑥, 𝑦, 𝜎)
Laplacian = 𝑇𝑟𝑎𝑐𝑒 = (𝐺𝑥𝑥 𝑥, 𝑦, 𝜎 + 𝐺𝑦𝑦 (𝑥, 𝑦, 𝜎)) ∗ 𝑓(𝑥, 𝑦)
𝐿𝑜𝐺 = 𝛻 2 𝐺
𝐺 𝑥, 𝑦, 𝑘𝜎 − 𝐺 𝑥, 𝑦, 𝜎 ≈ (𝑘 − 1)𝜎 2 𝛻 2 𝐺
DoG
Mikolajczyk 2002: normalized Laplacian gives more robust features
[email protected]
16
1- SIFT Detector
:ساخت هرم
Down
sampling
17
[email protected]
1- SIFT Detector
:آشکارسازی اکسترمم ها
18
[email protected]
1- SIFT Detector
:تعیین محل دقیق نقطه کلیدی
19
[email protected]
1- SIFT Detector
حذف نقاط کلیدی ناپایدار:
* نقاط دارای کنتراست پایین
* نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند
20
[email protected]
2- SIFT Descriptor
تخصیص جهت به نقاط کلیدی
21
[email protected]
Rotation Invariance:
2- SIFT Descriptor
22
[email protected]
2- SIFT Descriptor
4 × 4 × 8 = 128
So we have a feature vector with 128 dimensions
[email protected]
23
3- Matching
روش David Loweبرای انطباق
* ساخت درخت k-dدارای kبعد
* محاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست به کمک روش BBF
* نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه می شود
24
* در انتها برای افزایش
دقت شناسایی نسبت به
تغییر شکل و استتار از
تبدیل هاف نیز استفاده می
شود.
[email protected]
با سپاس از توجه شما
؟
[email protected]