NVIDIA משחררת את Snapshot לשחזור עומסי GPU מאותחלים ב־Kubernetes

הרכיב בקוד פתוח שומר את מצב זיכרון המעבד וה־GPU כדי לקצר את הפעלתן של תצורות הסקה נוספות. בבדיקות החברה נמדדו זמני שחזור של 3.6–42.7 שניות.

NVIDIA הציגה ב־10 בנובמבר את Snapshot, רכיב קוד פתוח לשמירת מצב ולשחזור עומסי GPU בסביבת Kubernetes. הכלי נועד לצמצם את הזמן שנדרש להוספת קיבולת הסקה או להתאוששות מתקלה, באמצעות שחזור עומס שכבר עבר אתחול.

המערכת שומרת את מצב זיכרון ה־CPU וה־GPU בקובץ שחזור, שממנו ניתן להפעיל מופע נוסף בתשתית תואמת. כך אפשר לדלג על טעינת משקלי המודל, קומפילציה והכנת CUDA Graphs. הרכיב פותח עבור NVIDIA Dynamo, ומוצעות דוגמאות לשילוב עם vLLM, ‏SGLang ו־TensorRT LLM.

לפי בדיקות NVIDIA, על מעבדי B200 ובשימוש באחסון VAST בחיבור NFS, זמני השחזור נעו בין 3.6 ל־42.7 שניות — קיצור של פי 8–36 ביחס לאתחול מאפס בתצורות שנבדקו. אלה נתוני החברה, שאינם מהווים אימות בלתי תלוי.

המדידות אינן כוללות הקמת תשתית, משיכת תמונת Container והכנת סביבת ההרצה. השחזור דורש אותו דגם GPU ודרייבר, והכלי תומך גם בעומסים המשתמשים במספר מעבדי GPU בתוך שרת יחיד.

יצירת קובץ השחזור נמשכה בבדיקות בין 15 שניות ל־5.5 דקות, בהתאם למודל ולתצורה. השיפור מתייחס לזמן הפעלת העומס ולהתאוששותו; הוא אינו מדד להאצת ההסקה עצמה.


מערכת ניו-טק מגזינים גרופ

תגובות סגורות