ראייה היא קריטית לתכנון יישומים רובוטיים התופסים ומתאימים את עצמם לעולם הפיזי בזמן אמת. מערכות רובוטיות פועלות בסביבות דינמיות, לעתים קרובות בלתי צפויות, בהן יש ללכוד, לשדר, לעבד ולתרגם לפעולה נתוני חיישן תוך מילי-שניות. כל שיהוי נוסף, אובדן נתונים או אי-עקביות תזמון עלולים לפגוע בביצועים ואף ליצור סיכוני בטיחות.
אילוצים אלה הופכים להיות תובעניים יותר ככל שמערכות רובוטיות עוברות לתפיסה מבוססת למידת מכונה, המסתמכת על כמויות גדולות של נתונים חזותיים במקום על תכנות ספציפי למשימה. זה מאפשר יכולת הסתגלות ביישומים רובוטיים, ומאפשר להם לתפוס אובייקטים, סביבות ומשימות חדשים עם תכנות מחדש מינימלי.
מגמות אלו מציבות לחץ גובר על אופן הובלת נתונים חזותיים בתוך מערכות רובוטיות. טכנולוגיית Gigabit Multimedia Serial Link (GMSL) יכולה לסייע בהתמודדות עם אתגרי תכנון על ידי פישוט קישוריות חיישנים, הפחתת מורכבות כבלים ואפשור העברת נתונים איתנה ובשיהוי נמוך בין מצלמות מבוזרות ומודולי מחשוב מרכזיים.
ה-GMSL, שתוכנן במקור עבור יישומי רכב כמו מערכות סיוע לנהג מתקדמות (ADAS), נמצא בשימוש נרחב במערכות רובוטיקה וראיית מכונה לחיבור מצלמות וחיישנים מרוחקים עם שיהוי נמוך וחסינות חזקה להפרעות אלקטרומגנטיות.
GMSL, שפותח על ידי Analog Devices, Inc, הוא טכנולוגיית תקשורת סריאלייזר/דה-סריאלייזר (SerDes) מהירות-גבוהה המאפשרת העברת וידאו ונתונים ברוחב פס גבוה דרך כבל קואקסיאלי או זוג שזור יחיד. במקום לשתף מארג רשת, כל מצלמה פועלת דרך קישור מהירות-גבוהה ייעודי, ובכך נמנעת תחרות על משאבים (Contention), ניתוב ושונות מבוססת מנות (Packets). זה יוצר נתיב נתונים חזוי שבו תזמון ושיהוי נשארים עקביים, גם כאשר מספר החיישנים עולה.
סריאלייזר GMSL לוקח קבוצות של נתוני פיקסלים, שבדרך כלל מועברים במקביל דרך קווי אותות מרובים, וממיר אותן לתזרים טורי מהירות-גבוהה רציף. בצד המעבד, מתקן דה-סריאלייזר ממיר אותו בחזרה לפורמט המקורי שלו. מכיוון שלכל מצלמה יש קישור נקודה לנקודה משלה, רוחב הפס משתנה באופן ליניארי עם מספר המצלמות, מבלי ליצור תחרות על משאבי רשת, תקורת מיתוג או עיכובים בתזמון מנות (Packets).
היתרונות של גישה זו בולטים יותר ככל שמערכות הראייה מתרחבות למצלמות רזולוציה-גבוהה מרובות. בניגוד ליישומי מצלמה יחידה, מערכות אלו דורשות כיסוי חזותי צפוף ומסונכרן כדי לתמוך במשימות כגון ניווט, מניפולציה והבנת סצנות בזמן אמת. ככל שמספר החיישנים גדל, כך גם העומס על רוחב פס, כבלים ודיוק תזמון, מה שחושף את המגבלות של חיבורי טווח קטן מסורתיים ברמת הלוח.
גישות קונבנציונליות כגון Ethernet סטנדרטי, USB או קישורי MIPI ישירים ברמת הלוח מגיעות עם פשרות מבחינת שיהוי, סנכרון או טווח פיזי. התוצאה היא אתגר אינטגרציה הולך וגדל, כיוון שיותר מצלמות מגדילות את מורכבות החיווט, ניהול התזמון ותכנון המערכת.
בהשוואה לגישות קישוריות ראייה אחרות, ה-GMSL מציע מספר יתרונות ברורים:
- הוא עולה על MIPI CSI-2 בטווח ובעמידות, תוך שמירה על ארכיטקטורת נקודה-לנקודה פשוטה ובעלת שיהוי נמוך, שמונעת את המורכבות של מערכי תוכנת ראייה מבוססי Ethernet.
- ה-GMSL מעדיף קישוריות דטרמיניסטית, נקודה לנקודה, וסנכרון פשוט יותר של מצלמות מרובות על פני גמישות הרשת המבוזרת בקנה מידה גדול של Ethernet.
- הביצועים דומים באופן כללי ל-FPD-Link, אפשרות SerDes קניינית נוספת, כשהבחירה בין השתיים מונעת לרוב על ידי שיקולי המערכת האקולוגית.
GMSL מאזנת בין מערכות ראייה משובצות ומערכות ראייה ברשת על ידי מתן גישה מעשית לקישוריות מצלמה מהירות-גבוהה עם ביצועים דטרמיניסטיים ובעלי שיהוי נמוך. זה מפשט קישוריות ראייה מהירות-גבוהה תוך שמירה על דרישות השיהוי והאמינות המחמירות עבור מערכות רובוטיות זמן-אמת.
מהירות גבוהה, נפח גבוה
יתרונות ארכיטקטוניים אלה הם קריטיים ככל שרזולוציית המצלמה ומספר החיישנים ממשיכים לגדול. GMSL יכול להעביר כמויות גדולות של נתונים, במיוחד וידאו, דרך כבל יחיד וממספר מצלמות או חיישנים אחרים. הוא משתמש בקישור נקודה לנקודה ייעודי ללא תחרות על משאבי רשת או ניתוב מנות. במקום להשתמש בחיבורים מרובים עבור כל נקודה, מתכננים יכולים להשתמש ב-GMSL כדי לשאת תזרימי רוחב פס גבוה דרך כבלים קואקסיאליים או זוג שזור, תוך שמירה על שיהוי נמוך ועמידות גבוהה לרעש.
הטכנולוגיה פישטה את חיווט הרכב ושיפרה את החוסן, ואותם מאפיינים מתורגמים ישירות לרובוטיקה: פחות כבלים מפשטים את התכנון החשמלי והמכני, והתוצאה מכך היא מערכות קלות ואמינות יותר והרכבה קלה יותר. ניתן למקם מצלמות מבוזרות הרחק ממודול המחשוב, לחבר אותן עם מינימום כבלים, ועדיין לספק באופן אמין נתונים מסונכרנים בעלי שיהוי נמוך התומכים בתפיסה וקבלת החלטות בזמן אמת.
רובוטים מסתמכים יותר ויותר על מצלמות מרובות ברזולוציה גבוהה, לעיתים בשילוב עם חיישני עומק או LiDAR (גילוי אור ומציאת טווח), כדי להבין את סביבתם (איור 1). כל מצלמה בנפרד יכולה לייצר זרם נתונים גדול, וכשמשתמשים במספר מצלמות ביחד, דרישות רוחב הפס יכולות להיות מדהימות. מצלמה אחת ברזולוציה 1080p ו-30 פריימים לשנייה (fps) עם 24 סיביות לפיקסל מייצרת 1.4 Gbps, כך שארבע מצלמות ייצרו סך של 5.6 Gbps, ושש מצלמות יסתכמו ב-8.4 Gbps. יישומים בעלי רזולוציה גבוהה יותר וקצב פריימים גבוה יותר עלולים לדחוף את דרישות רוחב הפס לעשרות ג'יגה-ביט לשנייה.
איור 1: איור של מערכת ראייה רובוטית רב-מודאלית המופעלת על ידי GMSL, שיכולה לעבד נתוני תמונה ממספר מצלמות וחיישנים אחרים כדי לאפשר תפיסה רובוטית. (מקור תמונה: Analog Devices, Inc)
תמיכה אמינה בנפח נתונים זה דורשת ארכיטקטורת תעבורה שניתן להרחיב באופן צפוי מבלי להכניס אי ודאות בתזמון. הקישורים הדטרמיניסטיים ובעלי השיהוי הנמוך של GMSL מבטיחים שמצלמות מרובות יישארו מסונכרנות ויספקו נתונים בצורה צפויה, מה שהופך את פיתוח היישומים עם תפיסה מרובת מצלמות לפרקטי מבלי להעמיס על המערכת או להכניס אי ודאות בתזמון.
שיקולים פרקטיים
מערכות רובוטיות מתקדמות ככל שחברות נעות בכיוון פלטפורמות רב-תכליתיות היכולות לתפוס, לתפעל ולקבל החלטות אוטונומיות. רובוטים דמויי אדם כמו ה-Optimus של Tesla תלויים ברשתות מצלמות זמן-אמת עם מספר זרמים של נתוני וידאו מסונכרנים ברזולוציה גבוהה כדי לנווט ולקיים אינטראקציה עם סביבות מורכבות.
ראייה רובוטית משתמשת יותר ויותר במערכי חיישנים מבוזרים לניווט ומניפולציה בזמן אמת, הדורשים סנכרון הדוק וקישוריות אמינה. ככל שדרישות החישה גדלות, יישומים חייבים להגדיל את מספר החיישנים ואת הרזולוציה מבלי להכביד על משאבי המחשוב או לגרום לבעיות תזמון. דרישות אלו מיושמות באמצעות התקני קצה וצבירה המגשרים בין חיישני תמונה לפלטפורמות מחשוב כדי לשמור על נתונים מסונכרנים, בעלי שיהוי נמוך, החיוניים לאוטונומיה.
בקצה המערכת, התקנים כמו ה-MAX96717 GMSL2 serializer של ADI משמשים כממשק בין חיישני תמונה לקישור התעבורה (איור 2). ממוקם ישירות מאחורי המצלמה, הוא מקבל נתוני מצלמה מסוג MIPI CSI-2 ברוחב פס גבוה וממיר אותם לערוץ תקשורת טורי מהירות-גבוהה להעברה דרך כבלים בסגנון רכב למרחקים ארוכים. ההתקן תומך בקצבי נתוני קישור קדמי של 3 Gbps או 6 Gbps, עם ערוץ בקרה הפוך של 187.5 Mbps, ומקבל עד ארבעה נתיבי MIPI CSI-2 במהירות של 2.5 Gbps לנתיב.
איור 2: בשרטוט זה, ארבעה התקני MAX96717 ממירים זרמי נתונים מקבילים מחיישני מצלמה נפרדים לאות טורי המועבר דרך קישור GMSL2 לדה-סריאלייזר MAX96724, שמאגד וממיר אותם ל-MIPI CSI-2 כדי לספק נתוני תמונה מאוגדים ומסונכרנים למעבד מרכזי. (מקור תמונה: Analog Devices, Inc)
הסריאלייזר מטפל בפרמוט ובהעברה בזמן אמת של פלט מצלמה גולמי לקישור GMSL2 טווח-גדול, תוך שמירה על שלמות הפריימים (התמונות), על אותות הבקרה ועל מטא-דאטה של סנכרון. הוא הופך חיישן תמונה בעל צימוד הדוק לצומת חישה מרחוק שניתן למקם בכל מקום על הרובוט, מה שמאפשר פיזור של מצלמות מרובות ברחבי פלטפורמה רובוטית מבלי להיות מוגבלים על ידי חברורי טווח קטן.
בצד המקבל, דה-סריאלייזר GMSL2 רב-קישורי כגון ה-MAX96724 של ADI, מאגד מספר ערוצי (streams) מצלמה מרוחקים לתוך רכזת ממשק מסונכרנת אחת. ההתקן מאפשר תפיסה מרובת מצלמות ניתנת להרחבה מבלי להגדיל את מורכבות המערכת, ומאגד מספר זרמי נתונים של מצלמה GMSL2 – עד ארבעה ערוצים של 3 או 6 Gbps – לממשק MIPI CSI-2 יחיד עבור המעבד המארח, תוך שמירה על תזמון מסונכרן ובקרה דו-כיוונית על חיישנים.
לאחר שנתוני המצלמה עוברים דה-סריאליזציה, הם מועברים למעבד המארח כזרמי נתונים של תמונה סטנדרטיים, בדרך כלל דרך ממשק ה-MIPI CSI-2. משם, פריימים ממצלמות מרובות נקלטים במקביל על ידי מחסנית הראייה של המערכת, שעשויה לכלול עיבוד ISP, לוגיקת סנכרון ומודלים של הסקה מבוססים AI, עבור משימות כגון זיהוי אובייקטים, הערכת עומק, מעקב והבנת סצנה.
מכיוון שזרמי נתונים GMSL מגיעים בתזמון עקבי, יישומים יכולים למזג באופן אמין נתונים של מצלמות וחיישנים אחרים כמו LiDAR או יחידות מדידה אינרציאלית (IMU) המנטרות תנועה ואוריינטציה, ובכך לספק לרובוט הבנה קוהרנטית בזמן אמת של סביבתו. לצורך פיתוח ואימות, ניתן ליישם שרשרת אותות מלאה באמצעות פלטפורמות הערכה המשלבות מודולי מצלמה בצד הסריאלייזר עם ערכות EVK דה-סריאלייזר כגון ה-#MAX96724-BAK-EVK (איור 3), מה שמאפשר למפתחים לבדוק סנכרון מצלמות מרובות, ביצועי רוחב פס ושילוב מעבד לפני המעבר לתכנוני חומרה מותאמים במיוחד.
איור 3: פלטפורמת ההערכה #MAX96724-BAK-EVK מספקת מקור פיתוח למערכות ראייה רובוטיות, מאגדת זרמי נתונים של מצלמות GMSL2 מרובים מסריאלייזרים כמו ה-MAX96717 ומספקת פלט MIPI CSI-2 מסונכרן למעבד מרכזי. (מקור תמונה: Analog Devices, Inc)
טכנולוגיה ומערכת אקולוגית בוגרות
ה-GMSL התפתח במשך מספר דורות, כשכל אחד מהם הרחיב את רוחב הפס, הטווח וגמישות המערכת, תוך שמירה על אותה ארכיטקטורת ליבה מבוססת SerDes:
- ה-GMSL1 הציג פתרון חזק ברמת רכב להעברת וידאו מהירות-גבוהה למרחקים ארוכים, תוך תמיכה בעיקר במערכות מצלמה ברמת HD.
- ה-GMSL2 הגדיל משמעותית את רוחב הפס ואת יכולת ההרחבה, תוך אפשור מערכות מרובות מצלמות ברזולוציות 1080p ו-4K, עם סנכרון הדוק יותר, שיהוי נמוך יותר ואיגוד זרמי נתונים מרובים יעיל יותר – תכונות שהפכו אותו לדור הדומיננטי בפלטפורמות ADAS ורובוטיקה מודרניות.
- ה-GMSL3 בונה על יסודות אלה עם שיפורים נוספים בקצב נתונים, גמישות מערכת ותמיכה בחיישני רזולוציה גבוהה של הדור הבא ובארכיטקטורות מרובות חיישנים מורכבות יותר ויותר.
ה-GMSL נתמך על ידי מערכת אקולוגית בוגרת התומכת בפריסות מוכנות לייצור, ניתנות למדרוג. מפתחי רובוטיקה יכולים להפיק תועלת ממעטפת מלאה של רכיבים מאומתים, שתוכננו לעבוד באמינות בתנאי אמת,כולל מצלמות, מודולי מחשוב, כבלים, מחברים ותמיכת תוכנה/מנהלי התקן. מערכת אקולוגית זו מפחיתה את מורכבות האינטגרציה, מקצרת את מחזורי הפיתוח ומורידה את המחסום להרחבה מאבות טיפוס מוקדמים למערכות ייצור.
סיכום
ככל שמערכות רובוטיות מתפתחות לעבר צפיפות חיישנים גבוהה יותר ואוטונומיה בזמן אמת, ארכיטקטורות קישוריות חייבות להתרחב מבלי להתפשר על דטרמיניזם או אמינות. על ידי פישוט כבלים, שימור תזמון דטרמיניסטי ואפשור מיקום חיישנים מבוזר, ארכיטקטורות מבוססות GMSL מאפשרות למתכנני רובוטיקה להגדיל יכולת תפיסה ללא תכנון מהותי מחדש של מודל המחשוב או הסנכרון. זה מספק אבן בניין מרכזית במעבר בכיוון מערכות ראייה רובוטית זמן-אמת, צפיפות-גבוהה.
