Transcript עקיבה אחרי מטרה בעזרת מצלמה רועדת

‫הטכניון ‪ -‬מכון טכנולוגי לישראל‬
‫‪TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY‬‬
‫הפקולטה להנדסת חשמל‬
‫המעבדה לבקרה ורובוטיקה‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫עקיבה אחרי מטרה‬
‫בעזרת מצלמה רועדת‬
‫מגישים‪ :‬רביב מלמד‬
‫רועי זאבי‬
‫מנחה‪ :‬ד"ר גבי דוידוב‬
‫סיכום‬
‫‪1‬‬
‫רקע‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• פרוייקט חד‪-‬סימסטריאלי במסגרת המעבדה‬
‫לבקרה ורובוטיקה‪.‬‬
‫• סביבת עבודה‪ Matlab :‬גירסה ‪6.5‬‬
‫על מחשב פנטיום ‪1.7GHz 3‬‬
‫• מקורות הסרטים‪:‬‬
‫‪ ‬מצלמה דיגיטלית (פורמט ‪.)RGB‬‬
‫‪ ‬סרטי ‪( IR‬שחור לבן)‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪2‬‬
‫רקע‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫• המצגת בנויה באופן כרונולוגי עפ"י תהליך‬
‫הלימוד וכתיבת הקוד‪.‬‬
‫• משך ההצגה ‪ 20 -‬דקות‪.‬‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪3‬‬
‫ראשי פרקים‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫• מסנן קלמן‪.‬‬
‫• מנגנוני עקיבה‪:‬‬
‫• קורלציה‬
‫• מרכז כובד‬
‫• מערכת העקיבה‪.‬‬
‫• ייצוב סרט רועד‪.‬‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪4‬‬
‫מטרת הפרוייקט‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫• בניית מערכת‪ ,‬אשר מאפשרת עקיבה אחרי‬
‫מטרה משתנה‪ ,‬תוך התמודדות עם רעידת‬
‫המצלמה והסתרות‪.‬‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪5‬‬
‫מסנן קלמן ‪ -‬כללי‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫• פותח בשנת ‪ 1960‬ע"י רודולף קלמן‪.‬‬
‫• מורכב מסט של משוואות מתמטיות‪,‬‬
‫המיישמות משערך אופטימאלי במובן של מזעור‬
‫שונות השגיאה‪.‬‬
‫• עבודה בשני שלבים ‪:‬‬
‫‪ .1‬חיזוי ווקטור המצב לפני הינתן המדידה‪.‬‬
‫‪ .2‬עדכון השערוך בעזרת המדידה ‪ -‬אחריה‪.‬‬
‫• פעולת המסנן מאופיינת במחזוריות‪:‬‬
‫מתבצע שערוך מראש של ווקטור המצב ובהמשך‪,‬‬
‫תיקון הווקטור המשוערך לאחר כניסת המדידה‪.‬‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪6‬‬
‫פרמטרים עיקריים‬
‫מבוא‬
‫•‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫•‬
‫‪ :Q‬מטריצת שונות שגיאת התהליך‪ .‬פרמטר‬
‫זה מאפיין את שונות תנועת הגוף במימדי‬
‫ווקטור המצב‪.‬‬
‫‪ :R‬מטריצת שונות שגיאת המדידה‪ .‬פרמטר‬
‫זה מאפיין את טיב המדידה שהתקבלה‪,‬‬
‫האם על המסנן לתת משקל רב למדידה‪.‬‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪7‬‬
‫מסנן קלמן ‪ -‬כללי‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫• לכל ציר (‪ )x,y‬יש וקטור מצב‪ ,‬אשר מכיל‬
‫מידע לגבי מיקום‪ ,‬מהירות ותאוצת המטרה‪.‬‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪8‬‬
‫פרמטרים עיקריים‬
‫מבוא‬
‫•‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫•‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫המודל שנבחר הינו מודל עבודה מסדר‬
‫שלישי (תאוצה קבועה)‪ ,‬ובעל מטריצת‬
‫שגיאת מדידה קבועה‪.‬‬
‫מטרת המודל‪ :‬חיזוי מיקום המטרה בפריים‬
‫הבא‪ ,‬על סמך המדידות הקודמות‪.‬‬
‫שימוש בשתי שיטות משלימות‪:‬‬
‫קורלציה ומרכז כובד‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪9‬‬
‫קורלציה‬
‫מבוא‬
‫•‬
‫ביצוע חיפוש סביב מרכז המטרה הצפוי‪.‬‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫המטרה‪ :‬מציאת הקורדינטות בעלות מקדם‬
‫הקורלציה הגבוה ביותר באיזור שנבחר‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪10‬‬
‫מה טוב בקורלציה ?‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• יתרונות‪:‬‬
‫‪ ‬מסוגלת להתמודד עם הסתרות חלקיות‪.‬‬
‫‪ ‬התמודדות טובה עם מטרות לא אחידות‪.‬‬
‫‪ ‬רגישה פחות לשינויים (איטיים) ברקע‪.‬‬
‫• חסרונות‪:‬‬
‫‪ ‬סיבוכיות גבוהה‪.‬‬
‫‪ ‬מתקשה להתמודד עם שינויים מהירים בצורת‬
‫המטרה‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪11‬‬
‫מרכז כובד‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫שלב ראשון‪ :‬סימון גבולות המטרה וקביעת‬
‫גודלה‪.‬‬
‫הנחה‪ :‬רוב המטרות בעלות אופיין ריבועי‪.‬‬
‫מעבר לתמונה בינארית‪.‬‬
‫הגדלת כל אחת מהצלעות ‪ -‬עד ל'גלישה'‬
‫מחוץ למטרה = ‪ 90%‬מהפיקסלים בציר זה‬
‫שחורים‪/‬לבנים‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪12‬‬
‫חישוב מרכז המטרה‬
‫מבוא‬
‫• חישוב בשני הצירים באופן בלתי תלוי‪.‬‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• התוצר הסופי‪ :‬קורדינטות מרכז המטרה‬
‫שנבחרה‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪14‬‬
‫בעד ונגד‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• יתרונות‪:‬‬
‫‪ ‬פשוטה למימוש‪.‬‬
‫‪ ‬נושאת סיבוכיות נמוכה‪.‬‬
‫‪ ‬איכותית עבור מטרות אחידות וקטנות‪.‬‬
‫• חסרונות‪:‬‬
‫‪ ‬מתקשה בנוכחות הסתרות חלקיות‪.‬‬
‫‪ ‬בעייתית עבור מטרות לא אחידות‪.‬‬
‫‪ ‬רגישה לשינויים ביחס בין הרקע למטרה‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪15‬‬
‫מערכת העקיבה ‪ -‬שלבי העבודה‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫סימון המטרה ע"י המשתמש‪.‬‬
‫חיפוש התאמה קורלטיבית‪.‬‬
‫יצירת תמונה בינארית של המטרה וסביבתה‪.‬‬
‫הגדרת גודל המטרה‪.‬‬
‫חישוב מרכז הכובד של המטרה‪.‬‬
‫שילוב השיטות מאפשר להנות מיתרונותיהן‬
‫הדגמה‪:‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪16‬‬
‫בעיות וחסרונות‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫•‬
‫•‬
‫•‬
‫•‬
‫כניסה להסתרה‪:‬‬
‫איך מזהים?‬
‫מה עושים?‬
‫סרט‪:‬‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪17‬‬
‫יצוב תמונה ‪ -‬כללי‬
‫או‪ :‬מה הבעייה בתמונה רועדת ?‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪18‬‬
‫סרט רועד נוסף‪...‬‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪19‬‬
‫בדרך לפיתרון‬
‫מבוא‬
‫• כיצד אנו מתמודדים עם תמונה רועדת ?‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪20‬‬
‫פתרון הבעייה‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• הגדרת המושג "עוגן"‪:‬‬
‫•‬
‫•‬
‫•‬
‫בולט ‪ -‬קל לזיהוי על רקע שאר התמונה‪.‬‬
‫בעל גבולות מוגדרים‪.‬‬
‫יחיד‪/‬מיוחד‪.‬‬
‫• חסרונות השיטה‪:‬‬
‫•‬
‫•‬
‫•‬
‫התאמת מספר רב של פרמטרים‬
‫זיהוי גבולות העוגן (אם קיים !!)‬
‫בדיקת כפילויות עוגנים‪.‬‬
‫זמן‪...‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪21‬‬
‫גישה אחרת‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪22‬‬
‫יתרונות ‪ -‬מה הרווחנו ?‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫•‬
‫•‬
‫הגדרת עוגן פשוטה ‪ -‬מיעוט פרמטרים‪.‬‬
‫סבירות גבוהה לקיום העוגן‪.‬‬
‫מציאת העוגן מהירה‪.‬‬
‫הרווח העיקרי‪:‬‬
‫ניתן לעבוד עם מספר‬
‫עוגנים בו‪-‬זמנית !!!‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪23‬‬
‫איך זה עובד ?‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪24‬‬
‫התמודדות עם שגיאות‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫תנאי לעוגן חוקי ‪ Var -‬מעל סף מסוים‪.‬‬
‫סף קורלטיבי "עובר" לציון העוגן‪.‬‬
‫כיצד בנוי עוגן ? (‪ ,dx,dy‬ציון)‬
‫‪ 4‬עוגנים ‪ -‬יתירות‪.‬‬
‫פסילת עוגנים שגויים‪.‬‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪25‬‬
‫התמודדות עם שגיאות ‪ -‬המשך‬
‫מבוא‬
‫‪dy‬‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫‪dx‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪26‬‬
‫יכולות המערכת ומגבלותיה‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫• מגבלת תדירות‪:‬‬
‫• כאשר התמונה מטשטשת‪.‬‬
‫• משתנה בין סרטים (ובין מצלמות)‪.‬‬
‫• מציאת עוגנים פשוטה (ומהירה)‪.‬‬
‫• התמודדות טובה עם שגיאות‪.‬‬
‫• התמודדות עם הפרשים גדולים בין תמונות‪.‬‬
‫• סרט סיכום‪ :‬הדגמת יכולות המערכת‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪27‬‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪28‬‬
‫סיכום‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫מערכת המאפשרת עקיבה אחרי מטרה באמינות‬
‫גבוהה‪.‬‬
‫ייצוב התמונה בסרטים רועדים הכרחי‪.‬‬
‫תחומי יישום אפשריים‪ :‬צבאי‪ ,‬אזרחי‪ ,‬רפואי ועוד‪...‬‬
‫כיוונים להמשך‪:‬‬
‫• מידול הרעידה (סינוסואידלית) ושילוב מסנן קלמן‪.‬‬
‫• זיהוי מטרה עצמאי (הגדרת 'בנק' מטרות)‪.‬‬
‫• המלצות‪:‬‬
‫• ידע מקדים בעיבוד וניתוח תמונה‪.‬‬
‫• ייצור בנק סרטים לפרוייקטים עתידיים‪.‬‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪29‬‬
‫תודות‬
‫מבוא‬
‫מסנן‬
‫קלמן‬
‫• מנחה הפרוייקט ‪ -‬ד"ר גבי דוידוב‪.‬‬
‫• צוות המעבדה לבקרה ורובוטיקה‪ :‬קובי ואורלי‬
‫קורלציה‬
‫מרכז‬
‫כובד‬
‫ייצוב‬
‫תמונה‬
‫סיכום‬
‫עקיבה אחרי מטרה בעזרת מצלמה רועדת‬
‫‪30‬‬