הבינה שבקצה

אין ספק שבינה מלאכותית היא הדבר שכולם מדברים עליו לאחרונה . בכל מקום ובכל כתבה יש צירוף של 2 האותיות AI שזה ה  Artificial Intelligence – הבינה המלאכותית וכמובן ש ChatGPT רק עוזרת ומוסיפה עוד ועוד עניין לתחום הכל כך מיוחד ומסקרן הזה .

אבל AI הוא ממש לא חדש ובשנים האחרונות חלה התקדמות אדירה בתחום הזה ומושגים כמו Tensorflow , Keras, PyTorch, ONYX ועוד הרבה מילים מיוחדות שהמשותף להם זה היכולות לפתח בתחום הלימוד מכונה שזה התת תחום בבינה המלאכותית . ספריות קוד פתוח , גמישות בפיתוח ועוד API ( ממשק תכנות יישומים ) כדי שיותר ויותר מהנדסים יוכלו לפתח בבינה המלאכותית .

יש גם מעבר מתחום ה CloudAI כלומר בינה מלאכותית בענן ( מה שקיים אצל Google ו- Microsoft )  וכמובן ה ChatGPT  לתחום של EdgeAI כלומר בינה מלאכותית בקצה ( לדוגמא בינה מלאכותית ב Gateway ) ולבסוף מעבר גם לבינה מלאכותית ב EndPoint  ( הקצה האחרון ) בעיקר איפה שנמצאים הסנסורים שמקבלים את המידע כמו מיקרופונים , מצלמות וחיישנים מסוגים שונים . תחום זה של EndPoint AI נקרא גם TinyML  – לימוד מכונה זעיר .

סקר של חברת גרטנר טוען שעד שנת 2025 יותר מ 95% מהפיתוחים החדשים בתחום ה IoT ( אינטרנט של הדברים ) התעשייתים יכללו ניתוח ויכולות שתומכות בבינה מלאכותית בקצה , ה EdgeAI  וזאת לעומת פחות מ 25% בשנת 2021 .

Emerging Technologies: AI-Enabled IoT, 21 March 2022, Milly Xiang. קרדיט: Gartner

סקר נוסך של חברת Grand View Research בדק וטוען שעד שנת 2030 ישווקו יותר מ 2 מילארד  רכיבים שיתמכו ב EdgeAI ו EndPointAI במכשירי קצה שונים כמו טלפונים סלולאריים שיהיו במצב של “המתנה מתמדת” לאיתור מילות מפתח ( KWS – Key Word Spotting ) כדי שיוכלו להתעורר רק שנדבר אליהם , מחשבים ניידים שיתעוררו שמצלמה תראה אותנו מתיישבים לידם על ידי חיישני מצלמה מיוחדים גם כן ב”המתנה מתמדת” – Always on וכלה בעולם שלם של תחזוקה חזויה – Predictive Maintenance  .

הבעיה העיקרית כיום בעולם הפיתוח הוא בעצם מה הפתרון הנכון ביותר כדי לפתח בינה מלאכותית בקצה ? איזה טכנולוגיה ? איזה טופולוגיה של ליבת עיבוד היא הנכונה ביותר ?  ולזה אין תשובה אחת כי בינה מלאכותית היא בעצם חישובים מתמטיים רבים שבדרך כלל יתבצעו על ידי ה DSP  ( Digital Signal Processing ) שהיום יושב בעיקר ליד ליבת החישוב או שהוא בתחום ה GPU ( Graphic Processor Unit ) או כחלק מליבת רשת נוירונים או מאיץ מיוחד.

כן – מאוד מסובך ויש כל כך הרבה אופציות וכולם תומכים בבינה מלאכותית .

הבחירה יכולה להיות מהמעבד הקטן ביותר שקיים היום בעולם ה 32bit שהוא ה CortexM0+ של חברת ARM  ועד למעבד החזק ביותר של אינטל או המאיץ החזק ביותר של NVIDIA  .

דוגמאות לטכנולוגיות וטופולוגיות הקיימות היום שניתן להריץ באמצעותם מודלים של בינה מלאכותית :

  • מעבדי ARM CortexM0+ , CortexM3 , CortexM4 , CortexM7 ו CortexM33
  • מעבדים ARM החדשים מסוג CortexM55 והמאיץ הבינה המלאכותית של ARM שנקרא Ethos-U55 או אפילו הליבה החדשה ביותר CortexM85
  • מעבדי עיבוד של חברת Synopsys ושל CEVA
  • רשתות נויירונים רגילים – Neural Network Engine או רשתות נורומורפיות Neuromorphic Computing Cores
  • מעבדי ARM לעולם ה HighEnd מסוג CortexA53 , CortexA55 , CortexA72
  • ליבות RISC-V לעולם ה 32bit וגם מעבדי ה RISC-V לעולם ה 64bit
  • מאיצי AI , GPU’s ו CPU’s ועוד

כל הטכנולוגיות האלה תומכות בצורה כזאת או אחרת באפשרות להוספה ותמיכה מלאה של בינה מלאכותית בקצה ובגלל שיש כל כך הרבה טכנולוגיות התווספו לעולם הסמיקונדקטורס הרבה חברות חדשות שחלקם הגדול לא מוכר למהנדס הרגיל אבל יש להם פתרונות מיוחדים ביותר .

חברות כמו AONDevices , Syntiant , Brainchip , FemtoSense שמתמחות בעולם ה AlwaysOn  וה – UltraLow Power AI

חברות מאיצי AI כמו Hailo מישראל , Axelera מאיטליה ועוד המון חברות כמו Alif Semi , Aspinity , AmbientScientific  ועוד

החברות האלה מתווספות לחברות המובילות בעולם כמו Qualcomm , Renesas , NXP , AMD  ועוד רבות אחרות שכולם רוצים לנצח בתחום של הבינה המלאכותית בקצה .

וכאן מגיעה הבעיה העיקרית של המפתחים וזה הקושי ! הקושי הרב בפיתוח והצורך האדיר של מהנדסים שמומחים בתחום הבינה המלאכותית . חברת גרטנר מפרסמת שאחד הבעיות העיקריות בפיתוח היום הוא הורדת קושי הפיתוח עד כדי “בלי קוד” כלומר יכולת הוספת מודלים של בינה מלאכותית ללא תכנתים .

ונכון להיום יש מעט מאוד חברות שתומכות ביכולות להוסיף מודלים ולפתח בבינה מלאכותית בכל הטכנולוגיות הקיימות היום ואחת מהחברות נקראת Edge Impulse  .

Reducing Edge Complexity: Edege Managment And Orchestration, and Low Code Approaches. קרדיט: Gartner

חברת Edge Impulse היא סטארט-אפ אמריקאי – הולנדי שהמייסדים הגיעו שניהם מחברת ARM והבינו עוד בשנת 2018 שאין היום כלי אחד ויחיד שיכול לעזור למפתחי ה Embedded להוסיף יכולות בינה מלאכותית למעבדים שהם מפתחים עליהם בלי להיות מומחי בינה מלאכותית ובשנת 2019 הם הקימו את חברת Edge Impulse ואת ה Edge Impulse Studio שרץ על ענן אמזון AWS ופשוט נותן יכולת לפיתוח של בינה מלאכותית על כל פלטפורמה טכנולוגית שקיימת היום .

החברה הינה חברת Saas כלומר Software as a Service , בלי תמלוגים כלומר אין חשיבות לכמות היחידות שייצרו על ידי הלקוחות והפלטפורמה הינה חינמית כלומר כל אחד יכול להיכנס על ידי רישום פשוט ולהתחיל לעבוד . המודל העיסקי הוא על ידי קניית רשיון שנותן יותר זמן וכוח עיבוד בענן וכלל תמיכה טכנית מעמיקה , עזרה בבנית מודלים של בינה מלאכותית ופשטות פיתוח לחברות שרוצות להוציא מוצר מהר .

יש יותר מ 70 אלף מפתחים רשומים ויותר מ 5000 חברות רשומות בפלטפורמה וכמעט 15 מיליון פעולות עיבוד בענן תחת כמעט 200 אלף פרוייקטים שרצים .

ההסבר הפשוט ביותר ליכולת של חברת Edge Impulse היא שכדי שניתן יהיה להוסיף מודלים של בינה מלאכותית למערכות קצה צריך המון מידע Data שבדרך כלל יגיע דרך קהילת Kaggle .  Kaggleהיא קהילת מדעי הנתונים הגדולה בעולם עם כלים ומשאבים רבי עוצמה שיעזרו לך להשיג את יעדי מדעי הנתונים שלך. לאחר מכן צריך לעבוד עם פלטפורמת הבינה המלאכותית הפופלאריים בעולם אבל שדורשות ידע מעמיק כמו PyTorch  , TensorFlow או אפילו Matlab  . משם צריך לבדוק את תוצאות המודלים ואז להמיר אותם דרך פלטפורמת TesnorFlow Lite  כדי שהקוד יהיה קטן מספיק שיוכל לרוץ על מעבדי הקצה ולאחר מכן לצרוב את הקוד שיגיע מהענן דרך הקומפיילר הרלוונטי . כל זה יקח לפחות חצי שנה ומספר רב של מהנדסים .

Typical edge ML application development. קרדיט: Edge Impulse

פלטפורמת EdgeImpulse Studio בעצם לוקחת את כל התהליך הזה ושמה אותו במקום אחד בלבד ובצורה מאוד פשוטה על ידי GUI שכל מהנדס מכיר . אם יש לך ידע בבינה מלאכותית תכנס ל Expert Mode  ותכתוב ב Python ואם אין לך את כל הידע עדיין תוכל להוסיף מודלים של בינה מלאכותית ולקבל את הקוד ב C\C++ או ספריית  Linux  שתרוץ בצורה מהירה על המעבד והטכנולוגיה שאתה רוצה או בחרת בקצה .

edgae ML application development with Edge Impulse. קרדיט: Edge Impulse

בתוך מעטפת הפלטפורמה של Edge Impulse נמצא ה EON Tuner וה- EON Compiler .

Edge Impulse Platform. קרדיט: Edge Impulse

ה – EON Tuner הוא כלי שעוזר למפתחים לייעל מודלים של למידת מכונה להפעלה על מיקרו-בקרים והתקנים אחרים המוגבלים במשאבים. זה מאפשר למפתחים לכוונן את המודלים שלהם על ידי התאמת הפרמטרים, בדיקת ארכיטקטורות שונות והערכת ביצועי המודל על החומרה הספציפית שלהם.

ה-EON Tuner פועל על ידי יצירת קבוצה של היפרפרמטרים וארכיטקטורות שניתן לבצע אופטימיזציה עבור החומרה והשימוש הספציפיים. מפתחים יכולים להשתמש בכלי כדי להפעיל ניסויים מרובים עם היפרפרמטרים וארכיטקטורות שונות ולהעריך את התוצאות כדי למצוא את המודל בעל הביצועים הטובים ביותר עבור מקרה השימוש שלהם. ה-EON Tuner כולל גם כלים אוטומטיים שעוזרים לייעל את הדגמים להסקת הסקה מהירה יותר, צריכת חשמל נמוכה יותר וטביעת זיכרון קטנה יותר.

על ידי שימוש ב-EON Tuner, מפתחים יכולים לצמצם את הזמן והמאמץ הנדרשים כדי לייעל מודלים של למידת מכונה להפעלה על מכשירים משובצים. זה מקל על יצירת מערכות חכמות ומבוססות קצה שיכולות לפעול ללא צורך בקישוריות מתמדת לאינטרנט או במשאבי מחשוב בעלי ביצועים גבוהים. ה-EON Tuner תוכנן לעבוד בצורה חלקה עם הכלים האחרים שמסופקים על ידי פלטפורמת Edge Impulse, כגון EON Compiler, המאפשר למפתחים לפרוס את המודלים המותאמים שלהם במכשירים משובצים.

לדוגמא – אם אתה משתמש במעבד פשוט מאוד מסוג CortexM0+ שרץ בתדר של 48Mhz ויש דרישה להפעיל מודל בינה מלאכותית מסוג Anomaly Detection – זיהוי אנומליות והמידע הנכנס מגיע מסנסור פשוט , יש סיכוי טוב מאוד שה EON Tuner יאשר שנתן להריץ את המודל בלי בעיה והוא בצורה אוטומטית יבצע אופטימיזציה למודל .

EON Tuner. קרדיט: Edge Impulse

ה – Compiler EON מצמצם את דרישות הזיכרון והעיבוד להפעלת מודלים של למידת מכונה במערכות משובצות מחשב, מה שמאפשר למפתחים לפרוס יישומים חזקים יותר שיכולים לעבד נתונים ולבצע תחזיות בזמן אמת. זה מאפשר ליצור מערכות חכמות ומבוססות קצה שיכולות לפעול ללא צורך בחיבור אינטרנט קבוע או כמויות גדולות של כוח מחשוב. ה EON קומפיילר יכול “לכווץ” את המודלים והקוד מ 25 % עד ל 55% פחות מפלטפרומת Tensor Flow Lite הפופולארית .

EON Compiler. קרדיט: Edge Impulse

אחד ההכרזות האחרונות והחשובות ביותר שיצאו מבית Edge Impulse  הוא ה BYOM .

BYOM (Bring Your Own Model) היא תכונה של פלטפורמת Edge Impulse המאפשרת למשתמשים לפרוס מודלים משלהם למידת מכונה במכשירי קצה.

עם תכונת BYOM, משתמשים יכולים להביא מודלים משלהם למידת מכונה שהוכשרו מראש לפלטפורמת Edge Impulse ולפרוס אותם במכשירי קצה באמצעות צינור הפריסה האופטימלי של הפלטפורמה. זה מאפשר למשתמשים לנצל את כלי האופטימיזציה והפריסה החזקים של Edge Impulse תוך שימוש במודלים שלהם.

כדי להשתמש בתכונת BYOM, המשתמשים צריכים תחילה לאמן ולייצא את מודל למידת המכונה שלהם בפורמט נתמך, כגון TensorFlow Lite או ONNX. לאחר מכן הם יכולים להעלות את המודל לפלטפורמת Edge Impulse ולהשתמש בצינור הפריסה של הפלטפורמה כדי ליצור קוד אופטימלי עבור מכשיר היעד שלהם.

בסך הכל, Edge Impulse BYOM מספק דרך גמישה ועוצמתית למפתחים לפרוס מודלים משלהם למידת מכונה במכשירי קצה במינימום מאמץ ואופטימיזציה מקסימלית.

BYOM- Bring Your Own Model. קרדיט: Edge Impulse

לסיכום , כאשר מדברים על בינה מלאכותית בקצה הרשת, נדרשת התמקדות על המימוש של טכנולוגיות ואלגוריתמים המתאימים לפעולה בתנאי משאבים מוגבלים ותנאי הפעלה מבוססי חשמל ואנרגיה.; לפני הכנסת מודלי בינה מלאכותית למכשירי קצה, נדרשת הצבת מערכת לאיסוף נתונים ועיבודם על המכשיר עצמו, כדי להפחית את תלות המכשיר בתשתית הרשת. מכיוון שהמכשירים בקצה הרשת נמצאים בדרגת משאביות נמוכה יחסית, עלינו להשתמש בטכניקות כמו דחיסת מודלים, כווץ ואופטימיזציות נוספות לצורך עיבוד וניתוח הנתונים בצורה אפקטיבית.; בנוסף לזה, יש לפתח תשתיות ופתרונות עבור ניהול, ניטור ואבטחת המכשירים עצמם, כדי להבטיח את הפעולה התקינה והאמינה של המערכת בקצה הרשת.; על מנת לכתוב עבודה בתחום, יש להעמיק בתחום הטכנולוגי, להתעדכן בטכנולוגיות ובפיתוחים האחרונים בתחום ולחקור דוגמאות ומימושים קיימים של מערכות בינה מלאכותית בקצה .

חברת Edge Impulse באה לפתור את רוב הבעיות בתחום ולפשט את תהליך הפיתוח למהנדסים ללא ידע מעמיק בתחום ה AI וגם להאיץ את הפיתוח למומחי ה AI .

ניתן לראות את פשטות הפלטפורמה לפי הדוגמא בלינק הזה – https://studio.edgeimpulse.com/evaluate

כתבה זו נכתבה על ידי אמיר שרמן , דירקטור בכיר בחברת Edge Impulse האחראי על תחום ה Semiconductors והפרטנרים . לפרטים נוספים ושיחת ייעוץ ניתן ליצור קשר באימייל amir@edgeimpulse.com .


אמיר שרמן, Edge Impulse

תגובות סגורות