Transcript Retrieve similar images

1
‫مروری بر روش های بازیابی تصاویر مشابه‬
‫دانشجو‬
‫داور گیوکی‬
‫استاد راهنما‬
‫دکتر غالمعلی منتظر‬
‫زمستان ‪93‬‬
‫‪2‬‬
‫سرفصل مطالب‬
‫‪ -1‬تعریف مسئله‬
‫‪ -1‬انواع روش های بازیابی تصاویرمشابه‬
‫‪ -1-1‬بازیابی میتنی بر برچسب زنی‬
‫‪ -2-1‬بازیابی مبتنی بر محتوا‬
‫‪ -2‬انواع روش های بازیابی مبتنی برمحتوای تصویر‬
‫‪ -1-2‬روش های مبتنی بر رنگ‬
‫‪ -2-2‬روش های مبتنی بر بافت‬
‫‪ -3-2‬روش های مبتنی بر شکل‬
‫‪ -3‬تکنیک های مختلف بازیابی محتوا محور تصاویر‬
‫‪ -1-3‬روش های سنتی‬
‫‪ -2-3‬روش های هوشمند‬
‫‪ -2-3‬روش های فیدبک مرتبط‬
‫‪ -4‬روش بسته لغات تصویری‬
‫‪-5‬خالصه‬
‫‪3‬‬
‫تعریف مسئله‬
‫نمونهای ازيك سيستم بازيابي تصوير‬
‫‪4‬‬
‫انواع روش های جست و جوی تصاویر‬
‫الف‪ .‬جست وجوی مبتنی بر برچسب زنی‬
‫اختصاص برچسب هایی به تصاویر توسط نیروی کار انسانی‬
‫‪‬مشکالت جست وجوی مبتنی بر برچسب زنی‬
‫الف‪ .‬وجود حجم وسیعی از تصاویر (مدت زمان طوالنی‪ ،‬خسته کننده)‬
‫ب‪ .‬سلیقهای بودن‬
‫ج‪ .‬قابل استفاده بودن تنها در یک زبان‬
‫د‪ .‬عدم امکان توصیف همه تصاویر مد نظر با واژهها‬
‫‪5‬‬
‫نمونه ای از جست و جو مبتنی بر برچسب زنی‬
‫الف‪ .‬جست وجوی مبتنی بربرچسب زنی‬
‫اختصاص برچسب هایی به تصاویر توسط نیروی کار انسانی‬
‫مشکالت جست وجوی مبتنی بربرچسب زنی‬
‫الف‪ .‬وجود حجم وسیعی از تصاویر (مدت زمان طوالنی‪ ،‬خسته کننده)‬
‫ب‪ .‬سلیقهای بودن‬
‫ج‪ .‬قابل استفاده بودن تنها در یک زبان‬
‫د‪ .‬عدم امکان توصیف همه تصاویر مد نظر با واژهها‬
‫)‪(Datta et al 2008‬‬
‫‪6‬‬
‫ب‪ .‬جست وجوی مبتنی بر محتوای تصویر‬
‫در ای ننش روش ه ننا از محت ننوای تص ننویر بن نرای ی ننافتن تص نناویر ن ن یه ب ننه ن اس ننتفاده م ننی ننود یعن ننی‬
‫محتوای تصویر با استفاده از توصیف گرهایی بیان می ود‬
‫الف‪ -‬توصیفگرهای رنگ‬
‫ب‪ -‬توصیفگرهای بافت‬
‫ج‪ -‬توصیفگرهای کل‬
‫‪7‬‬
‫الف‪ -‬توصیفگرهای رنگ‬
‫این توصیف گرها رنگ تصاویررا معیارمشابهت قرارمی دهند‪.‬‬
‫تقسیم بندی آنها به صورت زیراست‬
‫‪8‬‬
‫مرور برخی روش های مبتنی بررنگ‬
‫الف‪ -‬ممان های رنگ‬
‫بسیارساده و سریع ولی کم دقت‬
‫ب‪ -‬هیستوگرام رنگ‬
‫ساده و با سرعت خوب اما نیازبه حافظه باال دارد ‪ .‬عدم توجه به چینش پیکسلها‪ .‬برای پایگاه دادههایی با‬
‫ً‬
‫تصاویرزیاد اصال مناسب نیست‪.‬‬
‫ج‪ -‬بردار انسجام رنگ‬
‫درنظرگرفتن چيدمان پيكسلها ‪ .‬تقسيم هيستوگرام به دو بخش منسجم و نامنسجم‪ .‬مؤثربراي تصاويربا‬
‫تغييرات يكنواخت‬
‫د‪ -‬كرلوگرام رنگ‬
‫توزیع آماری پیکسلهای رنگی را درنظرمی گيرد‪ .‬یکی ازموثرترین روشها است‪ .‬اما حافظه مصرفی باالیی دارد‬
‫‪9‬‬
‫ب‪ -‬توصیفگرهای بافت‬
‫به ‪ 4‬دسته زیرتقسیم میشوند‪:‬‬
‫‪ -1‬روشهای آماری ‪ :‬استفاده ازاطالعات آماری (ماتریس همرخدادی)‬
‫‪ -2‬روشهای هندس ی‪ :‬تحليل ويژگيهاي هندس ي «عناصربافت» مانند اندازه‪ ،‬شكل‪ ،‬ناحيه و طول‬
‫‪ -3‬روشهاي مبتني بر مدل‪ :‬سعی درتخمين بافت با استفاده ازتوزیعهای آماری‬
‫‪ -4‬روشهاي پردازش سيگنال‪ :‬اعمال فيلترهايي (درحوزههاي فرکانس و مكان) روي تصوير‬
‫‪10‬‬
‫مرور برخی روش های مبتنی بربافت‬
‫الف‪ -‬ماتريس همرخدادي‬
‫اين ماتريس تعداد دفعاتيكه دو پيكسل معين ‪ i‬و ‪ j‬در فاصلة ‪ d‬و درجهت ‪ D‬از هم در كل تصويرظاهر‬
‫شدهاند را نشان ميدهد‪.‬‬
‫ب‪ -‬مدل خودبرازش‬
‫مدل خودبرازش روش ي آماري است كه در آن هرپيكسل تصوير يك متغير تصادفي فرض ميشود‪.‬‬
‫ج‪ -‬استفاده از تبدیل موجک‬
‫استفاده از داده های آماری ضرایب به عنوان ویژگی هاي تصوير‪ .‬این دسته روشها ازبهترین روشها هستند‬
‫‪11‬‬
‫ج‪ -‬توصیفگرهای شکل‬
‫مهمترین ویژگیها (به دلیل پرمعنا بودن)‬
‫نیازبه اعمال الگوریتمهای اضافی چون بخشبندی و تشخیص ش یء‬
‫به دو دستة کلی تقسیم میشوند ‪:‬‬
‫‪12‬‬
‫مرور برخی روش های مبتنی برشکل‬
‫الف‪ -‬ممان های هو‬
‫بسیارساده و کارا و نسبت به چرخش‪ ،‬انتقال و تغیيرمقیاس شکل نامتغيرهستند‪ .‬اما دارای اطالعات‬
‫اضافی هستند زیرا برهم متعامد نیستند‬
‫ب‪ -‬ممان های زرنیک‬
‫مجموعهای ازچند جملهایهای متعامد هستند که روی دایرهای به شعاع واحد تعریف میشوند‪.‬‬
‫محاسبه آنها زمانبر است‪ .‬نیازبه پیش پردازش هایی دارند‪ .‬نسبت به چرخش نامتغيرو دربرابرنویز بسیارمقاوم‬
‫هستند‬
‫‪13‬‬
‫شكافها و چالشها‬
‫الف‪ -‬هریک ازروشهای مذکور مزایا و معایبی دارند و برویژگیهای خاص ی ازتصویر‬
‫تکیه دارند‪.‬‬
‫ب‪ -‬هریک از روشها روی پایگاه دادههای خاص ی و برای کاربردی خاص تعریف شدهاند‬
‫ج‪ -‬استفاده ازترکیب روشها کارایی باالتری را ازخود نشان دادهاست زیرا اطالعات بیشتری ازتصویرجمع‬
‫میشود‬
‫د‪ -‬ویژگیهای محلی قدرت تمایزباالیی به دست میدهند اما نسبت به نویز حساس هستند‬
‫ه‪ -‬ویژگیهای سراسری قدرت تمایز کمتراما نسبت به نویزپایدارتر هستند‬
‫و‪ -‬مهمترین نکتة قابل تأمل این است که ویژگیها باید مکمل هم باشند طوری که بتوانند‬
‫تصویر را توصیف کنند‪.‬‬
‫جوانب مختلف‬
‫ی‪ -‬ویژگیهای یک توصیفگرخوب ‪ :‬فشرده بودن‪ -‬سریع بودن‪ -‬راحتی کاربا آن‬
‫‪14‬‬
‫معیارهای ارزیابی یک سیستم بازیابی تصاویر‬
‫‪15‬‬
‫تکنیک های مختلف بازیابی محتوا محور تصاویر‬
‫‪ -1‬روش های سنتی‬
‫‪ -2‬روش های هوشمند‬
‫‪ -3‬روش فیدبک مرتبط‬
‫‪ -1‬روش های سنتی‬
‫‪16‬‬
‫‪ -2‬روش های هوشمند‬
‫‪17‬‬
‫‪ -3‬روش فیدبک مرتبط‬
‫‪18‬‬
‫مدل بسته لغات تصویری‬
‫‪ -1‬تقسیم تصویر به نواحی‪/‬قطعات‬
‫‪ -2‬توصیف قطعات تصویر (استخراج ویژگیها)‬
‫‪ -3‬کوانتایزکردن توصیفگرها برای ساختن دایرۀ لغت با استفاده از روشهای خو هبندی‬
‫‪ -4‬مارش تعداد وقوع هر لغت در هر تصویر و ساختن هیستوگرام لغات‬
‫‪ -5‬موزش دستهبندی کنندههای مختلف برای موختن هیستوگرام لغت مربوط به هر دسته‬
‫‪19‬‬
‫نمایش کیف لغات تصویری برای سه تصویر بافتی‬
‫‪20‬‬
‫به طور خالصه داریم ‪:‬‬
‫‪21‬‬
‫نتایج بازیابی با استفاده از تبدیل موجک‬
‫‪22‬‬
‫‪22‬‬
23
‫نتایج بازیابی با استفاده از کرلوگرام رنگ‬
‫‪24‬‬
25
26
‫جمع بندی‬
‫‪ -1‬معرفی روش های مختلف بازیابی تصاویر‬
‫‪ -2‬دسته بندی انواع روش های رایج بازیابی محتوامحور تصاویر‬
‫‪ -3‬بیان مزایا و معایب هر یک از روشها‬
‫‪ -4‬مرور برخی روش های رنگ‪ ،‬بافت و شکل‬
‫‪ -5‬تکنیک های مختلف بازیابی تصاویرمشابه‬
‫‪ -6‬معرفی روش بسته لغات تصویری‬
‫‪27‬‬