NXP מפתחת את מוצריה בצורה אחרת ממתחרותיה עובדה המאפשרת לה להוביל ולחדש. NXP הצליחה במידה רבה לתמוך בממשקי מצלמות במשפחות מעבדי יישומים i.MX 8M, כמו כן מאפשרת למידת מכונה על משאבי מערכת משותפים כמו מעבד ו- GPUs ב- SoCs רבים של NXP. למרות שזה עובד טוב כתלות בדרישות היישום, מאמר זה מסביר מדוע NXP החליטה לחזק את היכולות האלה ולהוסיף גם מעבד אותות תמונה (ISP) וגם מאיץ למידת מכונה ל- i.MX 8M Plus.
החשיבות של למידת מכונה MACHINE LEARNING ממשיך לגדול
למעשה, ביצוע למידת מכונה בענן היא טכנולוגיית המפתח העומדת מאחורי כל מי שמשתמש בעוזר קולי עם טלפון חכם או רמקול חכם, כמו גם היותה הטכנולוגיה העומדת מאחורי האופן בו המדיה החברתית ואפילו הטלפונים הסלולריים יכולים לקבץ יחד תמונות עבור אדם נתון. במקרים אלה המשתמשים מסתמכים על למידת מכונה הפועלת בשרת ענן הנמצא אי שם. האתגר האמיתי ש- NXP מאפשרת הוא למידת מכונה בקצה. זה המקום בו כל הסקת למידת המכונה פועלת באופן מקומי על מעבד קצה, כגון i.MX 8M Plus. הפעלת ה- ML (למידת מכונה) בקצה פירושה שהאפליקציה תמשיך לפעול גם אם הגישה לרשת מופרעת – קריטית עבור יישומים כמו מעקב או רכזת אזעקה לבית חכם, או כאשר היא פועלת באזורים מרוחקים ללא גישה לרשת. פתרון זה מספק תגובה מהירה בהרבה בקבלת החלטה ממה שהיה קורה אם היה צורך לשלוח את הנתונים לשרת, לעבד אותו ולהמתין שהתוצאה תשלח בחזרה. מהירות תגובה גבוהה חשובה למשל בעת ביצוע בדיקה חזותית של תוצרים ברצפת תעשית הייצור והצורך להחליט אם לקבל או לדחות מוצרים שעוברים בקו הייצור בזמן אמיתי.
יתרון מרכזי נוסף של למידת מכונה ב- Edge הוא פרטיות המשתמשים. הנתונים האישיים שנאספו, כגון תקשורת קולית ופקודות, פנים, וידאו ותמונות שצולמו על ידי מכשיר הקצה מעובדים ונשארים מקומיים בציוד ה- Edge. מידע לא נשלח לענן לעיבוד, שם ניתן להקליט ולעקוב אחריו. פרטיות המשתמש נותרת על כנה, מה שמאפשר לאנשים להחליט אם לשתף מידע אישי בענן או לא.
למידת מכונה בקצה – אילו יכולות נדרשות?
בימים אלה, בהתחשב בצורך בלימוד מכונה בקצה, השאלה הופכת להיות כמה למידת מכונה דרושה. אחת הדרכים למדידת מאיצי למידת מכונה היא מספר הפעולות (בדרך כלל מספר שלם של 8 סיביות מכפיל או מצטבר) בשנייה, המכונה בדרך כלל TOPS, פעולות טרה (טריליון) בשנייה. זוהי אמת מידה בסיסית, מכיוון שביצועי המערכת הכוללים יהיו תלויים גם בגורמים רבים אחרים. למרות זאת, זה אחד הנתונים הפופולרים ביותר המקובלים למדידה.
מסתבר שביצוע זיהוי דיבור מלא (לא רק איתור מילות מפתח) בקצה לוקח בערך TOPs1-2 תלוי באלגוריתם, ואם ברצונך להבין מה המשתמש אומר ולא רק להמיר דיבור לטקסט. ביצוע איתור אובייקטים (באמצעות אלגוריתם כמו Yolov3) בקצב של 60FPS לוקח גם כ- 2-3 TOPs. זה הופך את האצת למידת המכונה של i.MX 8M Plus בערך של 2.3TOPsלפתרון הנכון עבור יישומים מסוג זה.
אלמנט נוסף שמתבקש הוא -מעבד אותות התמונה (ISP)
פונקציונליות עיבוד תמונה קיימת תמיד בכל מערכת מבוססת מצלמות, אם כי לפעמים ניתן לשלב אותה במודול המצלמה או להטמעה במעבד יישומים ועלולה להיות מוסתרת למשתמש. מעבדי תמונה בדרך כלל מבצעים סוגים רבים של שיפור תמונה, כמו גם המטרה המרכזית שלהם להמיר את רכיב הצבע היחיד לכל פלט פיקסל של חיישן תמונות גולמי לתמונות RGB או YUV המשמשות להמשך תהליך העיבוד במקומות אחרים במערכת.
מעבדי יישומים ללא מעבדי תמונה פועלים היטב במערכות וידאו כאשר כניסות המצלמה מגיעות ממצלמות רשת או מהרשת עצמה, המחוברות בדרך כלל למעבד היישומים באמצעות Ethernet או USB. עבור יישומים אלה, המצלמה יכולה להיות במרחק מה, אפילו עד 100 מטר מהמעבד. למצלמה עצמה מעבד ISP מובנה ומעבד מובנה אחר להמרה וקידוד של מידע הוידאו לפני שהיא שולחת אותו אל הרשת.
מעבדי יישומים ללא מעבדי תמונה פועלים היטב גם בשיתוף עם מצלמות ברזולוציה נמוכה יחסית. ברזולוציות של 1 מגה פיקסל ומטה, לחיישני תמונות לרוב יש מעבד תמונה המוטבע בתוכם, והם יכולים להפיק תמונות RGB או YUV למעבד יישומים, כלומר אין צורך למעבד תמונה בתוך המעבד.
אך ברזולוציה של בערך 2 מגה-פיקסל (1080P) ומעלה, לרוב חיישני התמונה אין מעבד תמונה משובץ והם מסתמכים על מעבד תמונה אחר במקום אחר במערכת. זה עשוי להיות שבב ISP עצמאי (שעובד, אך מוסיף כוח ועלות למערכת) או שזה יכול להיות מעבד תמונה המשולב במעבד היישומים. זה הפיתרון ש- NXP בחרה לקחת עם i.MX 8M Plus – מציע עיבוד תמונה באיכות גבוהה, תוך היותו גם פתרון עיבוד אופטימלי, במיוחד ברזולוציות של 2 מגה-פיקסל וברזולוציה גבוהה יותר.
פתרון מושלם למכשירי קצה חכמים
האינטגרציה של מעבד התמונה ומאיץ ללימוד המכונה עם תפוקה של 2.3TOPS, מעבד יישומי i.MX 8M Plus ממוקם היטב כמרכיב מרכזי במערכות ראייה משובצות בקצה, בין אם זה לבית החכם , בנין חכם, יישומי IoT עיר חכמה או יישומים תעשייתיים. בעזרת מעבד התמונה המוטמע שלה ניתן להשתמש בו כדי ליצור מערכות אופטימליות באיכות תמונה גבוהה המתחברות ישירות לחיישני תמונה מקומיים, ואפילו להזין את נתוני התמונה הללו לאלגוריתמים האחרונים של למידת מכונה, כולם נטענים במאיץ הלמידה המקומי של המכונה.
ארכיטקטורת i.MX 8M Plus המותאמת למערכות למידה ומערכות ראיה של מכונות מאפשרת למתכנני מכשירי Edge לעשות דברים אחרת – להוביל ולחדש, כפי שעושה NXP. בידיהם יכולת למידה חזקה של מכונה, המתואמת למערכת מצלמות בחדות גבוהה המאפשרת למכשירים לראות טוב יותר ורחוק יותר. מערכת פתוחה וחדשה של הזדמנויות חדשניות נוספה למגוון הפתרונות של תחום זה.
טלסיס חתמה עם NXP על הסכם הפצה ופועלת כמפיצה מורשית של NXP מתחילת השנה.
לטלסיס קבוצת תמיכה חומרה ותוכנה עם התמחות במערכות הפעלה מתקדמות כגון לינוקס . טלסיס ערוכה לתמוך בכל דרישה טכנית או לוגיסטית של לקוחות NXP
לפרטים נוספים יובל גרמה ,מנהל מחלקת אמבדד 050-5203967 yuval@telsys.co.il
