Transcript הצורך
1 רקע מקורות וידאו וחיישנים שונים המאפשרים קבלת מידע תלת-מימדי הופכים לזמינים בכל תחום של חיינו הצורך להבין את הסצינה בצורה אוטומטית הולך וגובר ,במגוון תחומים עלות החיישנים ויכולות החישוב דלות הספק נהיו זולות וזמינות – פותח תחומים ושווקים חדשים לטכנולוגיה נדרש לפתח יכולות לניתוח והבנה של ממד העומק 2 פוטנציאל עסקי מקיף 3 תעבורה חקלאות אבטחה רפואה (דימות ,טיפולית) מידע עסקי מבוסס וידאו ביטחוני תפעול רובוטיקה וכלים בלתי מאויישים פנאי (משחקים ,ספורט) ישראל – יתרון יחסי 4 למדינת ישראל ידע ויכולות מתקדמות בתחום התלת-מימד (למשל PrimeSense, 3DV, Inuitive, Omek, Magna, )Cognitens האקדמיה בישראל נמצאת בחזית המחקר העולמי בתחום חברות וגופי מחקר רבים ברחבי העולם משקיעים רבות ומתקדמים בתחום בצעדי ענק (למשל Perceptual Computing של אינטל ,קינקט של מיקרוסופט ,מחקרים במכונים ואקדמיה, ועוד) החזון 5 יעדי המאגד 6 פיתוח יכולות הבנת סצנה והאובייקטים הכלולים בה תוך שימוש במידע עומק במערכות מבוססות וידאו. שיפור ביכולת ניתוח התנהגויות מורכבות של אובייקטים הפקת מידע עומק ,בנוסף למידע חזותי ,במערכות ווידאו קיימות. היזמים במאגד פרופ' אהוד ריבלין 7 פוטנציאל מגוון נוסף למאגד חברות שכבר הביעו ענין: חברות נוספות במגוון תחומים: פוטנציאל למאגד בינוני-גדול שמקיף חברות רבות 8 תרומת האקדמיה לאקדמיה בארץ בכורה עולמית בנושאי ראייה ממוחשבת ולמידה חישובית. המוסדות האקדמיים יתרמו תשתית מתמטית ואלגוריתמית ואבני בנין בסיסיות שבעזרתן תוכלנה החברות התעשייתיות לפתח פתרונות. 9 טכניון ,פרופ' ריבלין – חילוץ תלת מימד מוידיאו ,ניתוח התנהגות מכון ויצמן ,פרופ' בצרי -אלגוריתמים לשחזור תלת-מימדי ולזיהוי חלקי- עצם סמנטיים בוידאו ,IDCפרופ' הל-אור – ניתוח התנהגותindexing , אוניברסיטת חיפה ,פרופ' שמשוני – שחזור תלת-מימד עמיד ,אחזור מידע תלת מימדי האוניברסיטה העברית ,פרופ' וינשל -ניתוח רגשות מהבעות פנים ומחוות גוף ) )gesturesע"ס וידאו או תמונות של מצלמות תלת מימדיות פערים טכנולוגיים ונושאי מו"פ למאגד תיוג ואחזור ווידאו הכולל מידע עומק היתוך מידע 3Dו2D - הוספת סמנטיקה לוידאו /מודלים 3D סיווג אובייקטים ,מתארים מבוססי עומק ,מתארים המשלבים עומק וצבע מיפוי מרחב ע"י חיישנים שונים מזוויות שונות ,טיפול בבעיות הנובעות מחפיפה עקיבה ומיקום אובייקטים במרחב 10 זיהוי ומיפוי עומק בסצנה בתנאים שונים :פנים/חוץ ,רמות תאורה שונות ,טווחים שונים ,סביבה קשיחה /דינמית /צפופה ניתוח התנהגות ברמות גירעון שונות :מתנועת אצבעות ועד להתנהגות של קבוצת אנשים יישומים אפשריים לתוצרי מאגד -ורינט בתחום המודיעין העסקי ,שואפת ורינט לספק מידע מקיף על תנועת הלקוחות והתנהגותם במתחם כולו .נשתמש במידע עומק בנוסף לצבע לצורך הבנת הרקע ,הפרדה בין אנשים לרקע ,העקיבה בתוך מצלמה ובין מצלמות ומיקום הלקוחות במתחם בתהליך ניתוח תורים אנו נתקלים בצפיפות ,הסתרות חלקיות והתנהגות מסובכת .מידע עומק ,בנוסף לצבע ,יקל על הפרדה בין אנשים ובין אנשים לאובייקטים אחרים ניתוח התנהגות: 11 ניטור תנועות של עובדי קופה – מניעת גניבות ניטור תנועות ידיים בכספומט – ATM Tampering ניתוח התנהגות חשודה במערכות Safe City יישומים אפשריים לתוצרי מאגד -רפאל 12 לשימוש במידע תלת מימד תרומה חשובה ביישומי התמצאות ,מיפוי, ניווט ,והבנת סצנה בעולם הביטחוני יש צורך לספק מידע זה באופן עדכני ובזמן אמת, וכן למצוא גישות יעילות למצות ממנו תובנות נושאי עניין: שחזור תלת מימד מוידיאו בזמן אמת שחזור מבנה של עצמים נעים גם כשהמצלמה בתנועה היתוך מידע 3Dלעדכון ושיפור מודלים שחזור תלת מימד מחיישנים אקטיביים שחזור מידע תלת מימדי מוידיאו indoor (למשל לטובת ניווט ללא )GPS יישומים אפשריים לתוצרי מאגד HTS - 13 מידע תלת ממדי מאפשר הבנת צורת אובייקט באופן מדויק וחיוני לצורך סיווג אמין של רכבים .סיווג יצרן ומודל הרכב שימושי מאוד למגוון יישומים רחב כגון התרעה על רכבים גנובים ,מידע פרסומי ועסקי ,כלי חיפוש יעיל עבור משטרות ועוד. עבור יישומים של נמלים כגון זיהוי ומעקב אחר מכולות ,היכולת לזהות את מיקום המכולה במרחב התלת ממדי (כאשר הוא נישא מהמנוף לספינה ולהפך) מאפשרת צילום ופיענוח מדויקים יותר של פרטי המכולה. מחקרים אפשריים במסגרת המאגד -ורינט מודל רקע משולב עומק ומידע חזותי 14 הפער :מודל רקע מבוסס מידע חזותי בלבד אינו מאפשר הבנה של מבנה הזירה ואינו מאפשר לבודד חפצים בעלי צבע דומה אך מרחק שונה מתארים מבוססי עומק ומידע נוסף לסווג אובייקטים והעברה בין מצלמות הצורך :הבנת מבנה הזירה (רצפה ,הסתרות אפשריות) ,מיקוד קשב הצורך :סיווג אובייקטים שאינם קשיחים ,בפרט אנשים הפער :אלגוריתמים המשתמשים במתארים מבוססי מידע חזותי בלבד מגיעים לאחוזי סיווג נמוכים ברבים ממאגרי הנתונים הציבוריים ומושפעים מאד מהרקע השגת מידע עומק בזווית רחבה (כמעט )fisheye הצורך :חסכון במספר המצלמות ובצורך להעביר מידע ביניהן הפער :לא קיימות מצלמות עומק מסחריות לזווית רחבה, מחקרים אפשריים במסגרת המאגד -ורינט ניתוח התנהגות ברזולוציה גבוהה (ידיים) ונמוכה יותר (גוף מלא) 15 הצורך :זיהוי התנהגויות בכלל והתנהגויות חריגות בפרט הפער :מודלים לניתוח התנהגות מתאפיינים בעלות חישוב גבוהה .שימוש במידע עומק קיים ואף במודלים משוחזרים ממידע כזה מאפשר הקלה משמעותית בעומס החישוב. קריאת עומק באזורי חפיפה בין מצלמות עומק אקטיביות הצורך :כיסוי שטח הפער :מצלמות אקטיביות מאירות את הזירה ומניחות ידע על האור הנקלט .בכך הן מפריעות זו לזו בקריאת העומק באזורי החפיפה. עומק בתנאי תאורה משתנים הצורך :מצלמות פנים המושפעות מאד מתנאי חוץ (למשל מצלמה מול דלתות חוץ) הפער :התמודדות עם איכות משתנה של קריאת עומק מחקרים אפשריים במסגרת המאגד -רפאל שחזור תלת מימד מוידיאו בזמן אמת שחזור מבנה של עצמים נעים (קשיחים/לא קשיחים) גם כשהמצלמה בתנועה 16 הצורך :במערכות המשמשות לניתוח ולקבלת החלטות יש צורך בהפקת נתונים ובשחזור זמן אמת. הפער :האלגוריתמיקה הנדרשת ליצירת תלת מימד הינה עתירה בחישובים, תוצאה מכך שחזור תלת מימד מתבצע באופליין ודורש מחשבים עוצמתיים במיוחד. תחום פעילות :יצור נתוני תלת מימד הצורך :השימוש כיום בפלטפורמות צילום ניידות הופך לזמין יותר ויותר (טלפונים ניידים ,רחפנים ,רובוטים ,רכבים אוטונומיים .)..,פלטפורמות אלו מספקות וידיאו המופק תוך כדי תנועת הפלטפורמה. פער :הגישה המקובלת לשחזור תלת מימד מניחה את אחת מהאפשרויות הבאות :שהעצמים סטטיים והמצלמה בתנועה או שהעצם בתנועה והמצלמה סטטית (אך לא ששני הדברים קורים בו זמנית). תחום פעילות :יצור נתוני תלת מימד מחקרים אפשריים במסגרת המאגד -רפאל היתוך מידע 3Dלעדכון ושיפור מודלים 3D שימוש במידע תלת מימדי indoorמוידיאו או מחיישנים אקטיביים (למשל לטובת ניווט ללא )GPS 17 הצורך :במקרים רבים קיים כבר מידע תלת מימדי עבור סצנה נתונה ,אך לא כולו עדכני ויש צורך לעדכן חלקים ממנו. הפער :היכולת להבין אילו חלקים במודל השתנו והיכולת להתך אותם בצורה מדוייקת עם המידע התלת-ממדי העדכני. תחום פעילות :יצור נתוני תלת מימד +קבלת נתוני תלת מימד כבסיס הצורך :בתרחישי indoorכאשר נדרשת התמצאות ,לא ניתן לעשות שימוש ב ,GPS-במקרים כאלו ניתן להשתמש במידע תלת מימדי לטובת התמצאות וניווט. הפער :היכולת להפיק ולפענח את המידע התלת-מימדי במהירות וביעילות בצורה שתאפשר התמצאות בתרחישי indoor. תחום פעילות :יצור נתוני תלת מימד +קבלת נתוני תלת מימד כבסיס מחקרים אפשריים במסגרת המאגד HTS - הפקת מודל תלת ממדי של רכב לצורך סיווג ניתוח תנועה של רכבים לצורך התרעה על אירועים (מהירות ,עומס, תאונות ועוד) 18 הצורך :זיהוי סוגי רכבים הפער :כיום ניתן לזהות באופן חלקי בלבד עפ"י סמל לוגו .שיטה זו מושפעת מאוד מתנאי תאורה וזויות צילום .מידע תלת מימדי של צורת הרכב ישפר משמעותית את אמינות הזיהוי ויאפשר חיתוך של מידע זה עם מידע חזותי. הצורך :שיפור יכולות ניטור ובטיחות הפער :הבנת מיקום וצורת הרכב והפרדתו מרכבים אחרים ע"י צילום דו ממדי מוגבלת בעיקר בשל הקושי להפריד בין הרכב לבין הצל שהוא יוצר על הכביש או צל שנוצר ע"י רכבים בנתיב סמוך. מחקרים אפשריים במסגרת המאגד HTS - איכון מדויק ועקיבה אחר עצמים באוויר ,בזמן אמת ובמרחב של עשרות מטרים (מכולות בנמל) 19 הצורך :זיהוי מיקום ואוריינטציה של מכולות הפער :דו -מימד אינו מאפשר לקבל ממד עומק החיוני לאיכון מדוייק של המכולה באוויר בזמן אמת. קווים משותפים למחקר קווים /מחקרים משותפים לחברות: יצירת עומק ממידע וידאו בסביבה מרובת מצלמות שחזור מבנה תלת ממדי מתוך מספר מבטים ו/או מידע עומק ממצלמות אקטיביות מתארים )(descriptorsמבוססי עומק הבנת מיקום תלת ממדי של אובייקטים סטטיים ונעים שחזור מבנה תלת ממדי של אובייקטים נעים הפקת צורה תלת ממדית של עצמים 20 סיכום 21 תחום רחב ועמוק ,בעל פוטנציאל עסקי עולמי רב מגוון רחב של חברות ושל ישומים מובילות עולמית ישראלית – שימור ושיפור תודה 22