Transcript اسلایدهای بازیابی تصویر

)Image Restoration( ‫بازیابی تصویر‬
www.ashkanabbasi.ir
1393 ‫زمستان‬
1
‫فهرست‬
‫معرفی بازیابی تصویر‬
‫معرفی روش های تخمین مدل تخریب‬
‫مشاهده – آزمایش – مدلسازی ریاض ی‬
‫معرفی تکنیک های بازیابی‬
‫فیلترینگ معکوس‬
‫حداقل مربعات خطا‬
‫حداقل مربعات محدود شده‬
‫رویکرد احتمالی برای بازیابی‬
‫بازیابی با تخمین بیشترین شباهت‬
‫بازیابی با بیشترین احتمال پسین‬
‫مثال هایی از دیگر مسایل بازیابی تصویر‬
‫‪2‬‬
‫بازیابی تصویر‬
‫• در بسیاری از مساله ها به دلیل از بین رفتن اطالعات‪ ،‬با مشاهداتی ناقص یا معیوب روبرو‬
‫هستیم‪.‬‬
‫– نقص های فرایند ضبط سیگنال‪ ،‬فشرده سازی یا انتقال سیگنال‬
‫• هدف‪ :‬بازیابی اطالعات از بین رفته‬
‫• مثال رایج‪ :‬نویز زدایی تصویر‬
‫‪3‬‬
‫تفاوت بازیابی و بهبود تصویر‬
‫• بهبود تصویر (‪)enhancement‬‬
‫– اعمال فیلتر های پایین گذر←کاهش مولفه های فرکانس های باال←کاهش نویز‬
‫– هدف‪ :‬ایجاد یک حس بینایی مطلوب در ناظر است‪.‬‬
‫– اغلب بدون مدل کردن تخریب و با روش های خاص مساله‬
‫• بازیابی تصویر (‪ restoration‬یا ‪)recovery‬‬
‫‪ (1‬نیاز به مدلی برای تخریب یا ازبین رفتن اطالعات‬
‫‪ (2‬بازیابی بر اساس یک معیار بهینگی‬
‫هدف‪ :‬معکوس کردن فرایند تخریب است‪.‬‬
‫‪4‬‬
‫بازیابی تصاویر تلسکوپ هابل‬
‫‪5‬‬
‫کاربرد بازیابی در تشخیص پالک خودرو‬
‫• محو شدن پالک خودرو در اثر حرکت (‪)motion blur‬‬
‫– ش ی یا دوربین وقتی شاتر دوربین باز است حرکت می کند‪.‬‬
‫‪6‬‬
‫بازیابی تصویر‬
‫• مساله بازیابی تصویر‪ ،‬یک مساله ی معکوس (‪ )inverse problem‬است ‪.‬‬
‫– با داشتن مدل تخریب و خروجی آن هدف یافتن ورودی سیستم‬
‫• در حالت کلی جوابهای بیشماری برای یک مساله معکوس ممکن است چون فرومعین‬
‫(‪ )under-determined‬است‪.‬‬
‫• مثال) ‪Image Inpainting‬‬
‫• دانش پیشین برای محدود شدن جواب ها بکار می رود‪.‬‬
‫• بازیابی بر مبنای داشتن مدل تخریب است‪.‬‬
‫‪7‬‬
‫مدل تخریب‬
‫• هدف‪ :‬با داشتن تصویر تخریب شده ‪ g‬تصویر اصلی را بیابید‬
‫• با فرض خطی و نامتغیر با مکان بودن سیستم تخریب‬
‫• این مدل برای حالت پیوسته است‪.‬‬
‫‪8‬‬
‫فرمول بندی گسسته‬
‫• بازیابی بر مبنای داشتن دانش درباره ی تابع تخریب و نویز است‪ .‬چطور ‪ H‬را بیابیم؟‬
‫‪9‬‬
‫تخمین مدل تخریب با مشاهده‬
‫• یک تصویر خراب شده داریم بدون هیچ دانش ی درباره فرایند تخریب‬
‫• فرض‪ :‬تابع تخریب خطی و تغییر ناپذیر با مکان‬
‫• فرض‪ :‬نویز ناچیز‬
‫پردازش یا تخمین‬
‫• با توجه به شکل ‪ ،Hs‬تابع ‪ H‬را می سازیم‪.‬‬
‫‪10‬‬
‫تخمین مدل تخریب با آزمایش‬
‫• شبیه سازی فرایند تصویر برداری برای ایجاد پاسخ مشابه‬
‫• تصویر برداری از ضربه‬
‫– ضربه‪ :‬یک نقطه ی نورانی خیلی کوچک‬
‫– نقطه خیلی روشن‪ :‬برای کاهش اثر نویز‬
‫پاسخ ضربه‬
‫)‪h(x,y‬‬
‫‪Point Spread Function‬‬
‫‪11‬‬
‫ضربه‬
‫)‪δ(x,y‬‬
‫تخمین مدل تخریب با آزمایش‬
‫• تبدیل فوریه ی یک ضربه‪ ،‬ثابت است‪.‬‬
‫• تبدیل فوریه ی ضربه مشاهده شده‪:‬‬
‫– ‪ A‬قدرت ضربه را نشان می دهد‪.‬‬
‫• تبدیل فوریه تصویر مشاهده شده‪:‬‬
‫• پاسخ فرکانس ی سیستم تخریب‬
‫‪12‬‬
‫تخمین مدل تخریب با مدلسازی ریاض ی‬
‫• گاهی می توان یک مدل ریاض ی برای فرایند تخریب ایجاد کرد‪.‬‬
‫• آشوب جوی (‪)atmospheric turbulence‬‬
‫– ‪ k‬وابسته به شدت آشوب‬
‫‪13‬‬
‫مدل خطی محو شدن در اثر حرکت‬
‫• هنگامی که ش ی یا دوربین حرکت می کند شاتر دوربین باز است‪.‬‬
‫• آنچه یک سنسور ضبط می کند حاصل از یک شعاع نور از صحنه نیست‪.‬‬
‫• به ازای هر نقطه از صحنه‪ ،‬سنسور مجموع شعاع های نور دریافتی از نقاط مجاور صحنه‬
‫را دریافت می کند‪.‬‬
‫• ‪ x0‬و ‪ y0‬میزان حرکت در راستای ‪ x‬و ‪ y‬را نشان می دهند‪.‬‬
‫– وابسته به زمان هستند‪.‬‬
‫• ‪ T‬مدت زمان باز بودن شاتر دوربین‬
‫‪14‬‬
‫مدل خطی محو شدن در اثر حرکت‬
‫• مدل تصویر مشاهده شده‪:‬‬
‫• محاسبه ی تبدیل فوریه تصویر مشاهده شده‪:‬‬
‫‪15‬‬
‫مدل خطی محو شدن در اثر حرکت‬
‫• مدل خطی محو شدن در اثر حرکت‬
‫‪16‬‬
‫تخمین مدل تخریب با مدلسازی ریاض ی‬
‫‪17‬‬
‫فیلتر معکوس‬
‫• ساده ترین روش بازیابی برای یک سیستم تخریب ‪LSI‬‬
‫• با دانستن ‪H‬‬
‫• فیلتر معکوس نویز موجود در داده ها را تقویت می کند‪.‬‬
‫– در فرکانس های باال‪ ،‬مقادیر ‪ H‬بسیار کوچک هستند‪.‬‬
‫)‪1/H(u,v‬‬
‫‪18‬‬
‫مشکل تقویت نویز فیلتر معکوس‬
‫)‪1/H(u,v‬‬
‫‪19‬‬
‫فیلتر معکوس با آستانه گذاری‬
‫• آستانه گذاری‬
‫‪20‬‬
‫فیلتر معکوس با آستانه گذاری‬
‫‪21‬‬
‫فرم ماتریس ی فرمول بندی گسسته‬
‫• می توان با دنبال هم قرار دادن سطر های یک تصویر آنرا به فرم یک بردار نوشت‪.‬‬
‫• با در نظر گرفتن بردار نویز‪:‬‬
‫‪22‬‬
‫فرم ماتریس ی فرمول بندی گسسته‬
‫• فرم ماتریس ی تخریب‪:‬‬
‫• ‪ H‬یک ماتریس با ابعاد ‪ MN‬در ‪ MN‬است‬
‫• با ‪ H‬می توانیم کانولوشن چرخش ی را پیاده کنیم‬
‫• ‪ H‬یک ماتریس بلوکی چرخش ی (‪ )block circulant matrix‬است‪.‬‬
‫– هر سطر با شیفت چرخش ی به سمت راست سطر قبل بدست می آید‪.‬‬
‫– هر بلوک آن از یک سطر ماتریس )‪ h(m,n‬بدست می آید‪.‬‬
‫‪23‬‬
‫بازیابی با جواب کمترین مربعات خطا‬
‫• مدل تخریب به فرم ماتریس ی‪:‬‬
‫• خطای کمترین مربعات‪:‬‬
‫• اگر ‪ H‬یک ماتریس بلوکی چرخش ی (‪ )block circulant‬باشد‪:‬‬
‫• جواب فیلتر معکوس و کمترین مربعات خطا یکسان است‪:‬‬
‫‪24‬‬
‫کمترین مربعات محدود شده‬
‫• بکارگیری دانش پیشین برای حل مساله با ایجاد محدودیت‬
‫• ‪ C‬یک فیلتر باالگذر مانند الپالسین است‪.‬‬
‫• ریلکس کردن محدودیت با معرفی ضریب الگرانژ‪:‬‬
‫• اگر ‪ H‬یک ماتریس بلوکی چرخش ی (‪ )block circulant‬باشد‪:‬‬
‫‪25‬‬
‫کمترین مربعات محدود شده‬
‫‪α=0.1‬‬
‫‪α =0.001‬‬
‫‪26‬‬
‫محو شدن در اثر‬
‫حرکت‬
‫‪α =0.01‬‬
‫رویکرد احتمالی برای بازیابی‬
‫• مدلسازی دانش پیشین‪:‬‬
‫– تصویر اصلی و نویز را بصورت یک رندوم فیلد مدل می کنیم‪.‬‬
‫– این کار را با تعریف تابع چگالی احتمال برای هر کدام از آنها انجام می دهیم‪.‬‬
‫• مدل تخریب‬
‫‪ :f‬تصویر اصلی‬
‫‪ :g‬تصویر مشاهده شده (تخریب شده)‬
‫‪ :n‬نویز جمعی‬
‫‪ :H‬عملگر تخریب (خطی)‬
‫هر کدام از ‪ f‬و ‪ n‬نمونه هایی (تحقق هایی) از یک رندوم فیلد هستند‪.‬‬
‫‪27‬‬
‫مدل تصادفی دانش پیشین برای نویز‬
‫• فرض کنید نویز حاصل از یک توزیع گوس ی باشد پس تابع چگالی احتمال آن بصورت‬
‫زیراست‪:‬‬
‫‪ :Cnn‬ماتریس کوواریانس نویز‬
‫‪ :N‬تعداد نمونه های تصویر یا نویز (بعد بردار ‪)n‬‬
‫• برای ساده سازی می توان فرض کرد نویز گوس ی سفید باشد‪:‬‬
‫‪28‬‬
‫مدل تصادفی دانش پیشین برای تصویراصلی‬
‫• یک توزیع پیشین معمول برای تصویر مدل ‪ SAR‬است‪:‬‬
‫)‪Simultaneous AutoRegressive (SAR‬‬
‫• یک توزیع گوس ی برای تصویر ‪ f‬با میانگین صفر و ماتریس دقت‬
‫• ‪ C‬یک فیلتر باال گذر است (مثال‪ :‬الپالسین)‬
‫• هنگامی که انرژی در فرکانس های باال کوچک باشد‪ ،‬طبق این مدل تصویر محتمل تر‬
‫است‪.‬‬
‫‪29‬‬
‫استنتاج‬
‫• استنتاج مبتنی بر توزیع پسین (قاعده ی بیز)‪:‬‬
‫• تخمین بیشترین شباهت (‪:)MLE‬‬
‫• تخمین ‪:MAP‬‬
‫‪30‬‬
‫بازیابی با تخمین بیشترین شباهت‬
‫• شباهت با نویز گوس ی‬
‫‪31‬‬
‫بازیابی با بیشترین احتمال پسین‬
‫• شباهت با نویز گوس ی‪:‬‬
‫• مدل پیشین برای تصویر (مدل ‪:)SAR‬‬
‫‪32‬‬
‫مدل های پیشین برای تصویر‬
• Simultaneous AutoRegressive (SAR) Image Prior
• Total Variation (TV) Image Prior [Rudin et al., 1992]:
‫ ام‬i ‫) پیکسل‬v(‫) و عمودی‬h( ‫ نزدیک ترین همسایه های افقی‬a(i) ‫ و‬l(i) •
• Markov random fields [Zhu and Mumford, 1997]
33
‫مدل های پیشین برای تصویر‬
‫• پیشین ‪ SAR‬نرم بودن را به تصویر تحمیل می کند اما لبه ها را زیاد جریمه می کند‬
‫– در ناپیوستگی های‪ ،‬نرم بودن از بین می رود‪.‬‬
‫• یک ویژگی مدل ‪ TV‬خاصیت حفظ لبه آن است‪.‬‬
‫– همزمان با اینکه نرم بودن را تحمیل می کند‪،‬ناپیوستگی ها در تصویر را کمتر جریمه‬
‫می کند‪.‬‬
‫‪34‬‬
‫نکاتی درباره ی بازیابی با رویکرد احتمالی‬
‫• همیشه برای بازیابی به فرمولی با جواب بفرم بسته نخواهیم رسید‪.‬‬
‫– بستگی به مدل نویز و مدل تصویر دارد‪.‬‬
‫• در فرمول های استنتاج شده فرض بر آن بود که واریانس نویز و تصویر را می دانیم‪( .‬پارامتر‬
‫های آلفا و بتا)‬
‫• اگر تابع مات کننده (‪ )H‬معلوم نباشد‪ ،‬مساله بازیابی را بازیابی کور می نامند‪.‬‬
‫‪35‬‬
‫مثال هایی از مسایل بازیابی‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪36‬‬
‫سوپررزولوشن تصویر یا ویدیو (سوپررزولوشن نسخه ی فشرده شده)‬
‫نویز زدایی‬
‫حسگری فشرده‬
‫بازسازی از روی افکنش ها‬
‫مساله ی ‪defocusing‬‬
‫مساله ی ‪Image Inpainting‬‬
‫مساله ی ‪Image Demosaicing‬‬
‫مساله ی ‪pansharpening‬‬
‫مساله ی ‪daul exposure‬‬
‫و ‪....‬‬
‫مطالعه بیشتر‬
• Gonzalez, Rafael C., and Richard E. Woods. "Digital image processing."
(2008).
• Banham, Mark R., and Aggelos K. Katsaggelos. "Digital image restoration."
Signal Processing Magazine, IEEE 14.2 (1997): 24-41.
• Coursera, Fundamentals of digital Image and Video Processing by
professor Katsaggelos.
• Katsaggelos, Aggelos K. Digital image restoration. Springer Publishing
Company, Incorporated, 2012.
37