Kusstatscher Voss, Analog
יצרני מכוניות (יצרני ציוד מקור – OEM) וספקי מערכות (מהרמה הראשונה – Tier 1s) מסכימים פה אחד: המערכות המתקדמות לעזרת נהגים (ADAS) עומדות להפגין עקומת גידול תלולה בשנים הבאות, והגורם המניע, ללא כל ספק, הוא הערנות הגוברת לבטיחות הנהג והשאיפה הבלתי פוסקת להגברת נוחות הנהיגה שלו. המובילים הראשונים והעיקריים של תהליך זה, הם ארגוני הבטיחות האירופיים (NCAP), אשר בהציבם את דרישות הבטיחות הקפדניות שלהם, הם דוחפים את תחום הציוד עבור מערכות ADAS, ממחזור ייצור בעל שיעור הכנסות שניתן למדוד אותן על אצבע אחת, למחזור ייצור עם גידול של 100% כמעט, הצפוי במרוצת השנה הבאה. לא ייפלא לכן, שעל הפרק עומדת דרישה לפתרון בעל יכולת קיום מבחינה מסחרית. וזאת, על מנת לענות על הדרישות של פרישות חדשות, כמו ציוד סטנדרטי בכמויות גדולות, לעומת האפשרות המתונה של צריכה עסקית, אשר נראית כיום. חברת Analog Devices הכריזה לאחרונה על משפחת מעבדי ADAS – הסדרה ®Blackfin ADSP-BF60x – שפותחה עבור דרישות השוק שעולות ומופיעות בכמויות רבות. את שני המעבדים הראשונים של משפחה חדשה זו אפשר לקבל כבר עתה, כדי לספק את הדרישה החדשה עבור פתרונות מבוססי מצלמה.
תלוי במשימות ADAS שלהן נדרש הפתרון, קיימים היום סוגים שונים של חיישנים שנפרשים במערכות. לניטור שדה הראייה הסביבתי הקרוב והרחוק שנמצא סביב לרכב, משתמשים בחיישני מכ”ם, חיישני על-קול (אולטראסוניים), חיישני LIDAR, חיישני PMD, חיישני מצלמה וחיישני מצלמת לילה, בין אם במערכות חיישן יחיד או במערכות חיישנים מרובים. אלו האחרונות משלבות את נתוני החיישנים על מנת להשיג תוצאות מדויקות יותר, על פי הנדרש. מערכות מצלמה עוד ימשיכו להתפתח עד שיגיעו אל תוך הרכב לניתוח המצב של הנהג. ניתוח מצבו של הנהג וחיזוי מצבו ישמשו כדי לסווג בצורה טובה יותר את הודעות האזהרה השונות, שאותן מערכות ADAS יוכלו להפיק בעתיד. המטרה אינה להציף את הנהג באזהרות לא רלוונטיות. אם המערכת תבחין שנהג פלוני מתרכז בתנועת כלי הרכב, אזהרה מוקדמת באשר להימצאותה של מכונית לפניו, יכולה להיות מטרידה מאוד. ואולם, אם היינו יודעים שדעתו של אותו נהג פלוני מוסטת מהכביש, מפני שהוא משחק במכשיר הטלפון הנייד שלו או מפני שהוא פשוט עומד להירדם, די היה באזהרה מוקדמת או בפעולת עצירה באותו מצב, כדי שתיחשב למתאימה מאוד.
מערכות ADAS, הן אלו שמספקות תצפית מורחבת אל מחוץ לרכב, תוך כדי כך שהן מגלות עצמים ומסווגות אותם, וגם אלו שקובעות מה מצבו של הנהג, כולן מכוונות להשגת בטיחות מוגברת בכביש, ויהפכו בקרוב להיות חלק מציוד סטנדרטי במכוניות חדשות. הנוחות הנוספת בעת הנהיגה והיבטים חסכוניים נוספים, כמו למשל שליטה בהחלפת הילוכים בזמן המתאים לפני מדרון, תעודד עוד יותר את הקבלה מצד הנהג ותאפשר ליצרני המכוניות לשווק אפשרויות של פונקציונליות בנוסף לציוד ADAS סטנדרטי.
הפרישות של מערכות ADAS מונעת על ידי ארגון הבטיחות האירופי (NCAP)
ארגון הבטיחות האירופי בודק את בטיחותם של כלי הרכב המשווקים באירופה, ומפרסם בציבור את הדוחות שלו בעניין זה. הארגון משתמש בשיטות בדיקה שקופות ולוקח בחשבון ארבע קטגוריות: (1) הגנה על נוסע מבוגר, (2) הגנה על נוסע ילד, (3) הגנה על הולכי רגל, ו-(4) תמיכה בבטיחות (למשל, תזכורת לרכיסת חגורת בטיחות). כתוצאה מכך, ארגון הבטיחות האירופי מעניק עד חמישה כוכבי בטיחות, שעומדים להתפרסם באתר שלהם באינטרנט. לקבלת כל דרגת בטיחות (בין כוכב אחד לחמישה כוכבים) יש צורך לקבל מספר מינימלי של נקודות בכל אחת מארבע הקטגוריות, ובנוסף לקבל מספר מינימלי של נקודות סיכום. משערים שעד שנת 2017, מכוניות לא יוכלו לקבל את דירוג חמשת הכוכבים הנכסף בלי שיהיו להן מערכות ADAS, ואי לכך, עד לזמן הזה, יצרני הרכב יכללו במכוניות מערכת ADAS אחת לפחות, כציוד סטנדרטי. אם נתבונן בתרשים הדירוג של ארגון הבטיחות האירופי, ונשווה אותו לשינויים שחלו במהלך השנים, נוכל לחוש את התקרבותם של סדרי העדיפויות האלו. בין השנים 2011 ו- 2012, הצורך להגיע למספר מינימלי של נקודות בקטגוריה “הגנה על הולכי רגל” עלה ב- 50%. עובדה זו גרמה לעלייה בחשיבותן של המצלמות המשמשות במערכות מתקדמות לעזרת נהגים (ADAS), לא רק בשל היכולת לגלות עצמים ולסווג אותם כהולכי רגל, אלא בשל היכולת שלהם לעשות זאת מול הולכי רגל שאינם נראים באופן ברור לחלוטין, כפי שנדרש על ידי תרשימי הדירוג.
המצלמות שעושות
את הציוד לסטנדרטי
מערכות ADAS מבוססות על מצלמות אינן דבר חדש, הטכנולוגיה הייתה צריכה זמן מה כדי להבשיל במהלך השנים האחרונות, אך נראתה ברובה כאופציה המצפה ללקוח של מכוניות מהמותגים המובחרים. ידע מצטבר זה הפך כעת לשימושי ביותר כאשר הוא עוקב אחר הדרישות המופיעות, חדשות לבקרים, של ארגון הבטיחות האירופי. אך עם זאת, יש לשלב חשיבה מחדש כאשר תחום העסקים של ציוד סטנדרטי מביא את ההיבט המסחרי למוקד העניין. כאשר, עד כה, פותחו מערכות מורכבות לביצועים גבוהים, המשימה שכעת עומדים בפניה, היא שונה. מערכות ADAS חייבות כעת לתמוך בפונקציונליות “שנדרשת בלבד” ברמה מסחרית מתאימה. ספקי מערכות וספקי רכיבים, כגון Analog Devices, התבקשו כעת לשמור על האיזון העדין שבין קיומם של פתרונות מושכים מבחינה מסחרית לבין שמירה על החופש המוענק ליצרני ציוד מקור, אשר מאפשר את הבידול ביניהם.
חברת Analog Devices, חברה בעלת יכולות שצמחו מתוך המעורבות המוקדמת שלה במערכות סיוע לנהג ומתוך השקעתה המתמשכת בטכנולוגיה חדשנית זו, פיתחה פתרון חדשני וייעודי למערכות מתקדמות וייעודיות להענקת עזרה לנהגים – ADAS – ובימים אלו היא מוציאה לשוק דוגמאות של שני המעבדים הראשונים, המתמקדים במערכות מבוססות מצלמה. כבר מהשלב ההתחלתי, המפרט הטכני של שני מעבדים אלו המתרכזים במצלמת ADAS, היה מוכוון אל עלות הבעלים הכוללת (TCO), מבלי להשמיט את הגמישות הרצויה מידיהם של ספקי המערכות ויצרני ציוד המקור (OEM). בצד אפשרויות תכנות דרושות ומספיק יכולת עיבוד, הושגה צריכת ההספק הנמוכה ביותר בתחומה, על מנת לשמור את תכנון החום במסגרת יכולות הניהול. תמיכה בבטיחות פונקציונלית שעומדת בדרישות התקן ISO26262 וזמינותה של סביבת פיתוח מוכוונת ליישום, עם ספריות לעיבוד ראייה שעברו אופטימיזציה, עוזרים לתכנן מערכת כוללת, שלוקחת בחשבון את זמן היציאה לשוק ואת הסיכונים הנמוכים.
ביצועים אופטימליים ברמת המערכת
משפחת ADSP–BF60x מקטינה את העלות הכוללת של מערכת בעלת חמישה תפקודים בעד 30 אחוזים. המעבד – ADSP BF609 (שפועל בתקנים של עד 1 מגה-פיקסל) והמעבד ADSP–BF608 (שפועל בתקן VGA) תומכים בו זמנית בעד חמש פונקציות ראייה, עם עד 30 מסגרות בשנייה שעוברות עיבוד. עם צריכת הספק קטנה מ-1.3 וואט בטמפרטורת סביבה של 105 מעלות צלזיוס, משפחת ADSP–BF60x מציעה את נתוני צריכת ההספק הנמוכים ביותר מסוגה. על מנת לאפשר זאת, חברת Analog Devices פרשה תפישה ישירה אך ייחודית. תפישה זו מבוססת על שתי ליבות Blackfin, כפי שהן משמשות במערכות ADAS שנמצאות כיום ביצור. עם זאת, האלגוריתמים – אותם אלו שלא ניתן היה ליצור את המודל שלהם בתוכנה, באופן היעיל ביותר ובדרך מסחרית – מומשו במקום זאת כמנועים בחומרה, והתוצאה שהתקבלה היא ארגז כלים של יחידות עיבוד ראייה, ניתנת לקונפיגורציה במידה רבה. ב- Analog Devices מכנים את התפישה הזו “מעבד ראייה בצינור עיבוד נתונים (pipeline)” – (PVP) שהיא מעתה חלק ממעבדי ADSP–BF60x החדשים. על אף שמומשה בטכנולוגיה לעיבוד בהספק נמוך, היה צורך בחדשנות נוספת על מנת שאפשר יהיה גם לטפל בפיזור ההספק העיקרי של תכנונים מודרניים: ממשקי זיכרון חיצוניים (DDR). פיזור ההספק הנמוך ביותר הושג על ידי ביזור העיבוד ועל ידי ניצול חכם של רוחב פס זיכרון מתון. בנוסף, ארכיטקטורה Blackfin הועשרה במספר בלוקי חומרה, במטרה לענות על דרישות הבטיחות הפונקציונלית.
זרימת נתונים יעילה
רבות מבין ארכיטקטורות השבבים מקבלות נתונים מחיישן הווידיאו ושומרות אותם, מסגרת אחר מסגרת, בהתקני זיכרון חיצוניים, כמו למשל DDR, רק על מנת לקרוא אותם, מסגרת אחר מסגרת (בהשהיות קלות). ארכיטקטורות בריבוי ליבות נוטות אפילו להכפיל אותה העברת נתונים, רק למען היתרון שיאפשר לליבות לזהות את האזורים הנמצאים במוקד העניין (ROI) בכל מסגרת. הרעיון שמאחורי ADSP-BF60x מונע העברה כזו של נתוני וידיאו, אשר צורכת הספק. עדיין, המסגרת השלמה מאוחסנת בהתקן זיכרון DDR2, אך אין צורך לקרוא חזרה למסגרת כולה. ברגע שהנתונים הנכנסים יתקבלו בהתקן, הם ישודרו בשידור רב נתיבי (multi cast) אל מעבד ראייה בצינור עיבוד נתונים (PVP), שיעבד עיבוד מוקדם של הנתונים בדרכם פנימה.
כפי שניתן לראות באיור 1 לעיל, צינור העיבוד PVP של המצלמה יכול ליצור עד שלוש תוצאות ביניים של עיבוד מוקדם, כגון, מפת שוליים, אינטגרלים או קביעת כמות (כימות) מחדש על ידי ערכי סף לא ליניאריים. בנוסף, הוא יכול לספק מידע לגבי המצב כמו למשל, היסטוגרמות. לקבלת התוצאות האלו, אין צורך לבצע אף לא פקודה יחידה אחת בליבות Blackfin ואין צורך להעביר אף לא ביית אחד יחיד דרך האפיק של DDR. וכן, צינור העיבוד PVP משתמש בתבניות נתונים דחוסות בעת העברה לפלט של תוצאות ביניים, ולכן, רוב הזמן, התוצאות מתאימות בהתקני זיכרון L1 ו- L2 שעל השבב.
מכאן ואילך, תוכנה שפועלת על ליבות Blackfin יכולה עוד להמשיך. התוצאות המתקבלות מצינורות העיבוד של מצלמה (PVP) מאפשרות לתוכנה לזהות באופן יעיל את האזורים הנמצאים במוקד העניין (ROI). כעת, צריך לקרוא חזרה רק את האזורים שבעניין מתוך זיכרון חיצוני לניתוח נוסף. כעת הליבות יכולות לקרוא אותם בגישת DMA, או על ידי צינור העיבוד שבזיכרון PVP. באפשרות האחרונה אפשר להמשיך ולנתח את נתוני האזורים שבעניין או להעביר אותם כהודעה, על ידי סינונם או שדרוגם לגודל תבנית מועדפת. וגם עתה, מקבלים את תוצאות ההיסטוגרמה בחינם. אם נאחסן את התוצאה הדחוסה של צינור עיבוד הזיכרון בהתקני זיכרון על שבב, ליבות Blackfin יוכלו לסווג באופן מקומי את האזורים שבעניין, ואם יהיה צורך, לאמת אותם אל מול נתונים לא מעובדים או אל מול אזור מתאים במסגרות קודמות, כפי שאוחסנו בזיכרון DDR2.
מעבד ראייה בצינור עיבוד נתונים (pipeline PVP) מבט מקרוב
מעבד הראייה בצינור עיבוד נתונים (PVP) יכול לעבד עד ארבעה רצפי נתונים, שלושה צינורות עיבוד מצלמה וצינור עיבוד אחד של זיכרון, בנוסף למנייה של תוצאות מצב היסטוגרמה. כפי שאפשר לראות באיור 2, ארגז הכלים PVP מתבסס על שניים-עשר בלוקי עיבוד, שעוברים אופטימיזציה עבור צעדי עיבוד הראייה השונים.
בדרך כלל, צינור עיבוד הזיכרון מנצל אחד או יותר מבין בלוקי העיבוד המרובים, לפי דרישה, לצורך ניתוח סדרה של אזורי עניין, והוא יכול לשנות את האופרטורים תוך כדי פעולה. צינורות עיבוד המצלמה נוטים לעבד מסגרת שלמה באופן מקבילי ולשדר בשידור רב נתיבי (multi cast) את הנתונים הנכנסים אל ענפי עיבוד מרובים. למשתמש יש גמישות מלאה באופרטורים של הקישורים הפנימיים, כדי ליצור את צינורות העיבוד. את אחת הקונפיגורציות האפשריות אפשר לראות באיור 3.
באיור 3 לעיל, אפשר לזהות מבנה Canny מסורתי. הוא מתבסס על מסנן מעביר נמוכים, עם מקדמים גאוסייניים, מסנני אופרטור Sobel משופרים, עם מטריצה 5×5, המרה ממערכת צירים קרטזית למערכת צירים קוטבית, ומדרגת הנחתה של ערכים שאינם מקסימום (NMS). את ערכי המקסימום הנותרים אפשר להעביר דרך בלוק גילוי סף (Threshold) על מנת להקטין את רזולוציית הסיביות או כדי לדחוס את הפלט באמצעות קידוד אורך חזרה (RLE), לצורך העמסה מזערית של הזיכרון. אם מתבצע עיבוד נוסף באמצעות תוכנה, כמו למשל אלגוריתם טרנספורם Hough עם גילוי קווים, אפשר לגזור אסטרטגיות סיוע לשמירה על נתיב הנהיגה, מתוך מפת קצוות זו.
אם מעבירים את הגראדיינטים אל בלוק אינטגרל (היסטוגרמה של גראדיינטים – HoG), כבר מושגת בכך מחצית העיבוד הנדרש לצורך גילוי הולכי רגל. ריבוע הפיקסלים אחרי סינון במעביר נמוכים יכול לשמש קלט של בלוק האינטגרל השני, אשר יכול לפעול במצב רגיל (SAT) או במצב מלוכסן (RSAT). באופן כזה אפשר להקטין את רזולוצית המסגרות במוצא, במקרים שבהם לא נדרשת רזולוציה גבוהה, כמו למשל במקרה של גילוי צללים.
מבנה הדוגמה המוצג כאן מדגים כיצד אפשר לממש סיוע שנדרש לשמירה על נתיב הנהיגה וכן גילוי הולכי רגל וגילוי כלי רכב בשבב יחיד ובאופן יעיל, בעוד שעומס העיבוד ביחידות MIPS בליבות Blackfin עדיין נשמר ברמה מתונה. יכולת העיבוד ביחידות MIPS שנותרת ללא שימוש ופונקציונליות צינור העיבוד בזיכרון שנשארת ללא שימוש, יכולות לשמש על מנת לשלב בקרת פנסי חזית ו/או גילוי שלטי תנועה. כל אלה אפשריים בזכות ההתקן ADSP–BF60x בצריכה של פחות מ- 1.3 וואט, בטמפרטורת סביבה של 105 מעלות צלזיוס, ולכן אפשר להתקין אותו בקלות מאחורי המראה המרכזית שבמכונית, בסמוך לחיישן התמונה. בנוסף, מעבדי אותות הראייה ADAS של Analog Devices תומכים במערכות ראייה ליום ולילה, והם יכולים לנתח את סביבת המכונית, וגם לשמש כמערכות ניטור של הנהג, על מנת לגלות את מצבו.
מערכות סיוע לנהג בעלות סבירה
בחברת Analog Devices, פיתוחי ADAS למערכות ראייה ולמערכות מכ”מ נמצאים במוקד. עם פתרון הראייה ADAS הייעודי המוצע בצורה של BF609 ו-BF608 בסדרת Blackfin, טכנולוגיית הראייה ADAS זמינה בעלות סבירה, והיא תומכת בפרישה המונית בכל הרמות של כלי הרכב.
