תקציר
זיהוי מרובה עצמים (Multi-object Detection) הוא יכולת יסוד במערכות ראייה מודרניות לקצה (Edge Vision), המאפשרת זיהוי ואיתור בזמן אמת של מספר עצמים תחת מגבלות מחמירות של צריכת הספק, זמן השהיה ועלות מערכת. ככל שעומסי העבודה של תפיסה חזותית מתקרבים אל החיישן, גישות מסורתיות המבוססות על CPU ומאיצים ייעודיים מתקשות לאזן בין דיוק לבין ביצועים דטרמיניסטיים ומחזורי חיים ארוכים של מוצרים.
מסמך זה בוחן כיצד Lattice sensAI 8.0 מאפשרת זיהוי יעיל של מספר עצמים בקצה המרוחק באמצעות פלטפורמות FPGA חסכוניות באנרגיה. המאמר מציג שני מודלים מוכווני ייצור הזמינים ב-Model Zoo של sensAI 8.0: מודל Generic Multi-object Detection שתוכנן להתאמה רחבה למגוון תחומים, ומודל Automotive-focused Multi-object Detection המותאם לתרחישי תפיסה משיקים לעולם הרכב.
המאמר משווה בין הדמיון הארכיטקטוני וההבדלים המעשיים ביניהם, דן במדדי ביצועים בהקשר של פריסת Edge דטרמיניסטית המבוססת על חישובי נקודה קבועה (Fixed-point), ומספק קווים מנחים לבחירת המודל המתאים בהתאם לדרישות היישום, לצורך בניית מערכות ראייה יעילות, גמישות וניתנות להרחבה.
מבוא
זיהוי מרובה עצמים (MOD) הפך ליכולת בסיסית במערכות ראייה לקצה, ומאפשר למכונות לזהות ולאתר מספר עצמים בו-זמנית תחת אילוצי זמן אמת. ככל שמערכות אלו מתקרבות לחיישן, על המתכננים לאזן בין דיוק לבין מגבלות מחמירות של צריכת הספק, זמן השהיה ועלות מערכת.
מערכת הפתרונות Lattice sensAI™ 8.0 מתמודדת עם אתגר זה באמצעות תמיכה בצינורות עיבוד מודרניים לזיהוי עצמים רב סקאלי על גבי פלטפורמות FPGA חסכוניות באנרגיה. במסגרת Model Zoo של sensAI 8.0 מספקת Lattice הן מודל Generic Multi-object Detection, המיועד לגמישות ולהתאמה רחבה, והן מודל Automotive-focused Multi-object Detection המותאם לתרחישי תפיסה משיקים לעולם הרכב.
יחד, מודלים אלה מדגימים כיצד ניתן להתאים בסיס ארכיטקטוני משותף לצורכי פריסה מגוונים תוך שמירה על ביצועים דטרמיניסטיים ויעילות בקצה המרוחק.
האתגר של זיהוי מרובה עצמים בקצה המרוחק
זיהוי מרובה עצמים הוא משימה עתירת חישוב מטבעה. בניגוד למשימות של זיהוי עצם יחיד או סיווג, מערכות MOD חייבות לבצע בו-זמנית חילוץ מאפיינים, הסקה רב סקאלית, לוקליזציה של עצמים וסיווג, לעיתים בסצנות דינמיות עם עצמים בגדלים ובצפיפויות משתנים.
כאשר מערכות אלו נפרסות בקצה המרוחק, דרישות אלו ניצבות מול מערכת ייחודית של מגבלות:
- מגבלות הספק וחום: מערכות Edge רבות פועלות ברציפות במסגרת צריכת הספק של פחות מוואט אחד
- זמן השהיה ודטרמיניזם: מערכות ראייה חייבות לספק התנהגות עקבית בזמן אמת
- מגבלות זיכרון ורוחב פס: מערכות הפועלות סמוך לחיישן לרוב אינן כוללות את נפחי הזיכרון החיצוני שעליהם מסתמכים מודלים מתקופת הענן
- מחזורי חיים ארוכים: מערכות Edge נדרשות להתפתח לאורך שנים רבות ללא החלפת חומרה
גישות מסורתיות להאצת AI מתקשות להתמודד עם תנאים אלו. הסקה מבוססת CPU לעיתים קרובות אינה עומדת בדרישות זמן אמת, בעוד שמאיצים ייעודיים בעלי פונקציונליות קבועה מגבילים את יכולת ההתאמה כאשר ארכיטקטורות הזיהוי מתפתחות. לכן, פריסה של זיהוי עצמים מודרני בקצה המרוחק נותרת אתגר הנדסי מורכב.
מגמות שוק וטכנולוגיה המניעות את האימוץ
הביקוש למערכות תפיסה מבוססות Edge ממשיך לצמוח ככל שהאינטליגנציה עוברת מתשתיות ענן מרכזיות לעיבוד מבוזר סמוך לחיישן. בין הגורמים המרכזיים לכך נמצאים רגישות לזמן השהיה, לוקליות נתונים, פרטיות והצורך בפריסות ניתנות להרחבה.
מחקרי שוק צופים צמיחה משמעותית בתחום חומרת Embedded ו-Edge AI לאורך המחצית השנייה של העשור, בעיקר בזכות יישומים מבוססי ראייה בתחומי רכב, תשתיות חכמות, רובוטיקה ואבטחה. במקביל, ארכיטקטורות מודרניות לזיהוי עצמים נשענות יותר ויותר על תכנון רב סקאלי וללא Anchor, המשפר את הדיוק אך גם מגדיל את המורכבות הארכיטקטונית.
מגמות אלו מתכנסות לאתגר מרכזי אחד: פריסה של מודלי תפיסה מתקדמים תחת מגבלות מחמירות של הספק, עלות ודטרמיניזם. זהו ההקשר שבו ממוקמת פלטפורמת Lattice sensAI 8.0.
זיהוי מרובה עצמים באמצעות Lattice sensAI 8.0
מערכת Lattice sensAI 8.0 מספקת פלטפורמה משולבת לפריסת זיהוי מרובה עצמים בקצה המרוחק, תוך שילוב בין מודלים מוכווני ייצור, כלי עבודה המשקפים במדויק את אופן הפריסה ומאיצי FPGA חסכוניים במשאבים.
מאפיינים מרכזיים:
- Model Zoo מאוחד עם כרטיסי מודל מובנים
- כלי Quantization וסימולציה המשקפים התנהגות Fixed-point אמיתית על ההתקן
- מהדר רשתות נוירונים ו-IP להאצת ML המותאמים ל-FPGA חסכוני באנרגיה
- פלטפורמות Reference מאומתות להאצת תהליכי פיתוח ואינטגרציה
גישה משולבת זו מאפשרת למפתחים להעריך כבר בשלבי התכנון המוקדמים את יחסי הגומלין בין דיוק, ביצועים וניצול משאבים.
מודלים כלליים ומשיקים לעולם הרכב לזיהוי מרובה עצמים
בתוך sensAI 8.0, מודלי Generic MOD ו-Automotive MOD חולקים בסיס ארכיטקטוני משותף אך נבדלים בהיקף ובייעוד הפריסה. מודל ה-Generic MOD מדגיש רוחב וגמישות, בעוד שמודל Automotive MOD מתמקד בקבוצת עצמים מצומצמת ובהקשרים משיקים לעולם הרכב.
מודל Generic Multi-object Detection
מודל זה נבנה כבסיס רחב וגמיש. הוא אומן על בסיס מאגר הנתונים המלא של COCO ותומך במגוון תחומים כגון תשתיות חכמות, רובוטיקה ואבטחה. המודל שם דגש על גמישות והתאמה במסגרת מגבלות הפריסה על FPGA חסכוני באנרגיה.
מאפיינים מרכזיים:
- תמיכה רחבה בקטגוריות, 80 קטגוריות של COCO
- מתאים ל-Fine-tuning ולהתאמה לתחומים שונים
- ארכיטקטורה בסגנון YOLO ללא Anchor בשלושה קני מידה (Scales)
- פלטים נפרדים למחלקות ולתיבות תיחום
- הערכה לא מקוונת באמצעות מערכי הבדיקה של COCO
מודל Automotive-focused Multi-object Detection
מודל זה מותאם לתרחישי תפיסה משיקים לעולם הרכב, עם היקף מוגדר וממוקד יותר. הוא אומן לזהות שמונה קטגוריות עצמים בלבד.
קטגוריות העצמים:
- אדם
- אופניים
- רכב
- אופנוע
- אוטובוס
- משאית
- רמזור
- תמרור עצור
המודל ממוצב כהתמחות בעלת היקף מוגדר עבור יישומים משיקים לעולם הרכב, ללא התחייבות להסמכת בטיחות.
מאפיינים מרכזיים:
- קבוצת מחלקות מוגדרת עבור עולם הרכב
- אותה ארכיטקטורת YOLO ללא Anchor כמו במודל הכללי
- שלושה קני מידה (Scales) עם פלטים נפרדים
- הערכה המותאמת לתמונות ולעצמים אופייניים לעולם הרכב
- תצורה מוכוונת ייצור עבור פריסת Edge FPGA
מאפיינים ארכיטקטוניים משותפים והבדלים מעשיים
שני המודלים חולקים עקרונות ארכיטקטוניים מרכזיים המאפשרים ביצועים, יעילות ותאימות לכלי הפיתוח:
- ארכיטקטורה בסגנון YOLO ללא Anchor בשלושה קני מידה (Scales)
- פלטים נפרדים לסיווג וללוקליזציה
- רזולוציית קלט קבועה של 384×288 RGB, המותאמת לביצוע חישובי נקודה קבועה (Fixed-point) על FPGA
- פרמטריזציה מותאמת למערכות Embedded
- תאימות מלאה לשרשרת הכלים של sensAI 8.0
טבלה 1 במסמך מציגה את ההבדלים המעשיים המרכזיים בין שני המודלים.
פירוש מדדי ביצועים עבור MOD בקצה המרוחק
יש לפרש מדדי ביצועים בהקשר המתאים. פריסות Edge שונות מבנצ'מרקים בענן בשל שימוש בחישובי נקודה קבועה (Fixed-point), ביצוע דטרמיניסטי ומגבלות זיכרון.
שיקולים מרכזיים:
- ערכי mAP הם אינדיקטורים יחסיים בלבד ואינם מבטיחים ביצועי מערכת
- היקף מערך הנתונים וסינון הנתונים משפיעים משמעותית על התוצאות
- סינון לפי גודל עצם משפר את הריאליזם של הפריסה
- השפעות Quantization נכללות במדדים המדווחים
מדדים אלו מסייעים בקבלת החלטות תכנון מושכלות, אך אינם מהווים הבטחה לביצועי מערכת כוללים.
סיכום
זיהוי מרובה עצמים בקצה המרוחק דורש ארכיטקטורה וכלי פיתוח שתוכננו ליעילות אנרגטית, דטרמיניזם ותמיכה במחזורי חיים ארוכים. מערכת Lattice sensAI 8.0 מאפשרת זיהוי עצמים מודרני על גבי FPGA חסכוני באנרגיה באמצעות פלטפורמה מאוחדת ומודלים מוכווני ייצור.
באמצעות שילוב של מודלי MOD כלליים ומודלים משיקים לעולם הרכב, מספקת Lattice מסגרת ברורה להתאמת צינורות זיהוי לצורכי היישום תוך שמירה על יעילות וביצועים בקצה המרוחק.
טבלה 2: סיכום מדדי ביצועים נבחרים
קרדיט: Lattice Semiconductor
מקור: White Paper – Multi-object Detection at the Far Edge with Lattice sensAI™ 8.0
