הכתבה אינה סוקרת את תחום הרכבים האוטונומיים מנקודת מבט אחרת.
אלא עוסקת, כלשון הכותרת: בראיית מכונה, מקור אור מוסט ביחס למצלמה וזווית הצל שנוצר.

ערב אחד הלכתי במסלול הקבוע להרדמת בתי (קבוע עד כמה שהשגרה של ילדה בת שנה יכולה להיות קבועה). המסלול עובר בסמטה שהיא בדרך כלל חשוכה. אבל באותו ערב, פנסי מכונית האירו מאחוריי לכל אורך הסמטה. באופן טבעי, בעודי פוסע קדימה, קו ההפרדה בין האור לצל שיצרתי על הכביש, הלך ונהיה יותר מקביל לכוון האורכי של הסמטה. תהיתי אם הקשר בין הזווית של הצל למרחק שלי מהמכונית יכול לשמש למדידת מרחק ברכב אוטונומי. להפתעתי, מהחישובים הגיאומטריים עלה כי: במישור גלאי המצלמה, הזווית המתקבלת בין דמות של אובייקט, לבין הדמות של קו המתאר של הצל שהאובייקט מטיל על הכביש, כמעט בלתי תלויה במרחק !

שנייה דקה, אבל אני מסביר, אבל אני מסביר !?!

לשם בהירות נחלק את ההסבר לשלושה חלקים: 1. האובייקט; 2. הצל; 3. דמות הצל.

1. האובייקט: כאשר מרחק האובייקט גדל, האובייקט ודמותו נשארים אנכיים.
2. הצל: הצל מיוצג על ידי החץ האדום והכתום בתמונה שלהלן

כאשר האובייקט מתרחק פי שתיים ( Distance = D à D x 2), אורך רכיב Y של הצל גדל פי שתיים Y₂=2xY₁. רכיב X=X₀ אינו משתנה. לכן מנקודת מבט של אובייקט שמסתכל על הצל שלו, נראה שהזווית של הצל משתנה.

3. דמות הצל: כנהוג בניתוח מישור הדמות, נעבור למערכת צירים מקבילה, אשר ראשיתה במרכז העדשה. רכיבי X של תחילת וסוף הצל (בסיס החץ וקצהו) לא משתנים עם התרחקות האובייקט, בעוד שרכיבי y גדלים פי שתיים: {Y בסיס: D à 2 x D ;Y קצה:D + Y₁ à 2 x D + Y₂ = 2 x ( D + Y₁ )  } . לכן, רוחב דמות הצל קטן פי שתיים (גודל הדמות מתכונתי לזווית הנשענת על האובייקט אשר קודקודה במרכז העדשה).
   הניתוח לעיל תקף גם למימד האנכי: רכיב Z של בסיס החץ וקצהו לא השתנה כשהאובייקט מתרחק, בעוד שרכיב y גדל פי שתיים כאשר האובייקט מתרחק פי שתיים. לכן גובה הדמות גם קטן פי שתיים. שימו לב שבמערכת הצירים של המצלמה, אמנם רכיב Z של הבסיס והקצה שווים, אך   Z≠ 0 (כי המצלמה ממוקמת מעל הכביש) ולכן גובה דמות הצל אינו אפס.
   היות שגם המימד האופקי וגם המימד האנכי של דמות הצל קטנו פי שתיים, מתקבל שדמות הצל נשארה בזווית קבועה ביחס לדמות האובייקט (כאמור, האובייקט ודמותו מקבילים לציר Z).

מלימון מכינים לימונדה

אפריורי ציפיתי למצוא קשר חד-חד-ערכי בין זווית דמות הצל לבין מרחק האובייקט, אך אפוסטריורי גיליתי שהזווית קבועה. מאי נפקא מנה ? אם לצורך הדוגמא יש מקור ההארה יחיד, אשר מיקומו ביחס למצלמה נקבע כך שזווית הצל היא ארבעים מעלות למשל. קל (מבחינת סיבוכיות חישובית) למצוא את הדמויות של האובייקטים הזקופים (כגון: אנשים, תמרורים ומכוניות) ודמות הצל המתאימה לכל אחד מהם, על ידי קונבולוציה (בדיקת קורולציה) עם פילטר בצורת V. (ליתר דיוק הנגזרת המרחבית של הפילטר צריכה להיות בצורת V, אבל ממילא הפילטרים המיטביים יימצאו בתהליך האימון של convolutional neural network כך שהפרטים האלה לא חשובים).
לאחר שנמצאו זוגות מתאימים של דמות האובייקט + דמות הצל, קל (מבחינת סיבוכיות) למצוא את נקודת המפגש שלהם במישור הדמות הדו-מימדי (חיתוך שני קווים במישור). עבור נקודת המפגש, המיפוי מהמרחב הדו-מימדי של מישור הדמות לעולם התלת מימדי הוא חד-חד ערכי, כי ידוע שנקודת המפגש של אובייקט עם הצל שלו נמצאת על פני הכביש, וגובה המצלמה ביחס לכביש גם ידוע. כל שנדרש לחשב הוא את החיתוך של מישור הכביש עם הקרן שמתחילה בנקודת החיתוך במישור הדמות ועוברת דרך מרכז עדשת המצלמה. אותו חישוב תקף ללא שינוי גם עבור אובייקטים שלא נוגעים בכביש, כי נקודת המפגש של המשך קו המתאר של האובייקט עם המשך קו המתאר של הצל שלו, גם נמצאת על פני הכביש. מן הסתם, אגב חישוב הקורדינטות של נקודת המפגש, המרחק של האובייקט התקבל ?

ראוי לציין שבאופן עקרוני ניתן למצוא את מרחק האובייקט גם בלי הצל. לראייה, כך נוהגים אנשים (תרתי משמע). אך הורדת הסיבוכיות של הבעיה צפויה לאפשר לאתר אובייקטים ומרחקם באמצעות רשת ניורונים יותר קומפקטית מבלי לפגוע בביצועים. ככלל, ככל שהמידע קבור תחת יותר שכבות מידע, נדרשת רשת יותר עמוקה ועשירה בניורונים כדי לחלץ את המידע [1].

רכיבי המערכת

לצורך ההסבר שלעיל הנחתי שמקור האור היחיד (להלן “הפנס”) נמצא במקום קבוע וידוע ביחס למצלמה, בעוד שבמציאות יש עוד מקורות אור (להלן “רעש”). כדי להגביר את הרגישות לאור הפנס ביחס לרגישות לרעש צריך לשלב אמצעים אלקטרו-אופטיים עם עיבוד תמונה בסיסי משלים.
למשל, אפשר לעצב את האופטיקה של הפנס כך שהאור שיבקע ממנו יתאפיין בתביעת אצבע מרחבית כגון מחזוריות או פסים אופקיים. עיבוד התמונה המשלים במקרה זה יכול להיות קונבולוציה עם פילטר בגיאומטריה שתואמת את אור הפנס, ולאחריה החסרת התמונה המקורית מהתמונה שעברה קונבולוציה.
גישה אלקטרו-אופטית אחרת עושה שימוש בשתי מצלמות שצופות באותו שדה ראייה (למשל על ידי מפצל אלומה). על המצלמות להיות שונות ברגישותן לפנס אך דומות ברגישותן לרעש. עיבוד התמונה המשלים במקרה זה הוא פשוט ההפרש בין שתי התמונות (pixelwise) משתי המצלמות. כדי לאפשר למצלמות רגישות שונה לפנס מאשר לרעש, יש להוסיף על גבי הפנס מקטב, או פילטר ספקטרלי, או לאפנן את הארת הפנס בזמן. בהתאמה, יש להוסיף למודול המצלמות מקטבים (בקיטוב שונה לכל מצלמה), או פילטר ספקטרלי, או לאפנן את זמן חשיפתן לאור.

לסיכום

ניתן לשדרג בעלות צנועה את המצלמות וההארה ברכבים אוטונומיים, כך שהמידע הגולמי יהיה עשיר יותר באינפורמציה שתקל בהמשך שלבי העיבוד על מציאת אובייקטים ומרחקם.

במקרה דנן, האופטימיזציה של מערכת הראייה הממוחשבת מניבה תוצאות שלא היו מתקבלות מאופטימיזציה של כל מכלול (אלקטרו-אופטיקה ועיבוד תמונה) בנפרד.

ד”ר עומר כורך

פיזיקאי, מתכנת, מתכנן אופטי ומהנדס מערכת בחברת מפרולייט

הכותב מבקש להודות לחברת מפרולייט על תמיכתה

ולד”ר גיא קוליצקי וניוטון חיפוש פטנטים על הסיוע בסקר הספרותי