הטכנולוגיה החדשה מצטרפת ל־NVLink Fusion ומבטיחה עד 30% יותר רוחב פס לזיכרון, עד 15% פחות צריכת הספק ועד 25% יותר שטח זמין על שבב ה־XPU
NVIDIA הכריזה על NVHBM, טכנולוגיית High-Bandwidth Memory חדשה המיועדת לדור הבא של מאיצי AI מותאמים אישית. הפתרון מרחיב את פלטפורמת NVLink Fusion של החברה ונועד לאפשר ל־Hyperscalers ולחברות AI לפתח שבבי XPU ו־CPU מותאמים המשתלבים בתשתיות NVIDIA בקנה מידה של מרכזי נתונים.
אחד השינויים המרכזיים בארכיטקטורה הוא העברת חלק מפונקציות בקר הזיכרון אל Base Die ייעודי בתוך מערך ה־HBM התלת־ממדי. בכך מצטמצם השטח הנדרש לממשקי הזיכרון על גבי שבב ה־XPU עצמו, וניתן לנצל שטח גדול יותר עבור יחידות עיבוד או מאיצים ייעודיים.
לפי NVIDIA, בהשוואה ל־HBM4E סטנדרטי, NVHBM יכול לספק עד 30% יותר רוחב פס לזיכרון בכל Stack, להפחית את צריכת ההספק של ה־HBM בעד 15%, ובמקביל לפנות עד 25% משטח ה־Compute Die. החברה טוענת כי השילוב יכול להביא לשיפור של עד 30% בביצועי XPU מקצה לקצה, בהתאם לעומס העבודה.
החשיבות של הגדלת רוחב הפס עולה ככל שמודלי AI גדלים והעומסים עוברים מאימון בלבד גם ל־Inference מורכב. במקרים שבהם צוואר הבקבוק הוא תנועת הנתונים בין הזיכרון ליחידות העיבוד, הגדלת רוחב הפס מאפשרת להזין את מנועי החישוב בקצב גבוה יותר ולשפר את ניצול המאיץ.
NVHBM משתלב עם NVLink Fusion, ארכיטקטורה שמאפשרת לחבר שבבי CPU ו־XPU מותאמים אל תשתית ה־NVLink של NVIDIA. החיבור נועד ליצור מערכות הטרוגניות בקנה מידה של Rack, שבהן מאיצים מותאמים יכולים לפעול לצד GPUs ורכיבי NVIDIA אחרים באותה תשתית.
Annapurna Labs של Amazon תהיה החברה הראשונה שתשתף פעולה עם NVIDIA סביב NVHBM, כחלק מהמשך פיתוח תשתיות AI מותאמות עבור AWS. NVIDIA הודיעה כי הטכנולוגיה תאומת ותוצע גם באמצעות שותפותיה המובילות בתחום הזיכרונות.
המהלך משקף שינוי נוסף בתכנון תשתיות AI: במקום להתייחס למעבד, לזיכרון ולתקשורת כרכיבים נפרדים, הארכיטקטורה עוברת לתכנון משותף של Compute, Memory ו־Networking ברמת המערכת כולה.
