פרס של 30,000 דולר, יתחלק בין שלושת המשתתפים הראשונים שיצליחו להחדיר הוראות זדוניות לסוכן AI ויסיטו אותו מהמשימה שהוגדרה לו.
מאחורי האתגר עומדת חברת קייטו נטוורקס, שהוקמה על ידי שלמה קרמר, ומכריזה היום על AgentSense, פתרון אבטחה חדש המוגן בפטנט, המנטר באופן רציף ובזמן אמת את פעילותם של סוכני AI אוטונומיים, במטרה לוודא שהחלטותיהם, פעולותיהם והתוצרים שהם מפיקים תואמים את כוונת המשתמש.
במסגרת האתגר, קהילת אבטחת המידע מוזמנת לתקוף תהליך עבודה של סוכן AI המוגן באמצעות AgentSense. המשתתפים ינסו להטמין הוראות זדוניות בתוכן שאליו נחשף הסוכן, ולגרום לו לסטות מהמשימה שהוטלה עליו. קייטו תשתמש בממצאים ובמשוב של המשתתפים כדי לבחון ולשפר את יכולות ההגנה.
במסגרת האתגר, שלושת המשתתפים הראשונים שיעמדו בתנאי הזכאות וישלימו את האתגר בהצלחה יזכו ב־10,000 דולר כל אחד. קישור לאתגר: https://www.catonetworks.com/lp/2026/agentsense-challenge
שלמה קרמר, מנכ״ל ומייסד-שותף של קייטו נטוורקס: ״בעידן שבו ארגונים מפקידים בידי סוכני AI החלטות שמשפיעות על הכנסותיהם, על הקשר עם הלקוחות ועל הרציפות העסקית, הבקרה על פעילות הסוכנים הופכת חיונית לא פחות מהבקרה הפיננסית. הענקת אוטונומיה רבה יותר לסוכני AI מחייבת מנגנוני אבטחה שיסכלו פעולות מזיקות. החזון שלנו הוא ש־AgentSense יעניק ללקוחותינו את הביטחון להסתמך על סוכני AI גם בניהול תהליכים עסקיים קריטיים, מבלי לאבד את השליטה בהם.״
גם כאשר סוכני AI פועלים בהרשאות לגיטימיות, הם עלולים לבצע פעולות מסוכנות החורגות מהמשימות שהוגדרו להם. לכן, לא מספיק לפקח על הגישה שלהם למערכות ולמידע – יש צורך לנטר גם את האופן שבו הם משתמשים בהרשאות שניתנו להם.
אחד ממקורות הסיכון המרכזיים נובע מחולשה ארכיטקטונית בסיסית בסוכניAI : הקושי להבחין באופן עקבי בין הוראות לגיטימיות שעליהם לבצע לבין תוכן חיצוני שהם נחשפים אליו במהלך המשימה, אך אינו אמור להנחות את פעולותיהם. תוקפים יכולים לנצל חולשה זו ולהסתיר הוראות זדוניות בהודעות דוא"ל, בדפי אינטרנט, במסמכים, בקריאות שירות או בתשובות של כלים שונים, במטרה להסיט את הסוכן מהמשימה שהמשתמש הגדיר לו.
כאשר לסוכן יש גם גישה למידע ארגוני רגיש וגם יכולת להפעיל כלים ולבצע פעולות באופן עצמאי, נוצר מה שמכונה "השילוש הקטלני". השילוב בין חשיפה למידע רגיש, גישה לכלים חיצוניים ואפשרות לפעול באופן אוטונומי הופך מתקפות מסוג זה לאיום עסקי ממשי, שעלול להוביל לדליפת מידע, לפגיעה במערכות, לביצוע פעולות לא רצויות ולשיבוש תהליכים עסקיים.
״כשאנחנו מפקידים בידי סוכני AI אחריות רבה יותר על הפעילות במערכות העסקיות שלנו, חשוב שנדע מה הם עושים ומתי נדרשת התערבות״, אמר ניטין רדי, סגן נשיא לאבטחת סייבר בחברת Dayforce. ״הרחבת השימוש ב־AI בצורה בטוחה, מחייבת יכולת לזהות ולבלום פעולות שעלולות לסכן את הלקוחות שלנו, את המידע ואת הפעילות העסקית. לכן אנחנו רואים פוטנציאל רב ביכולות של AgentSense.״
קייטו מציגה שתי יכולות משלימות של AgentSense שנועדו להתמודד עם הסיכונים האלה:
יכולת AgentSense Untrusted Influence Detection עוקבת בזמן אמת אחר האופן שבו הוראות ונתונים משפיעים על התנהגותם של סוכני AI ועל התוצרים שהם מפיקים. כאשר המערכת מזהה שתוכן לא מהימן מכוון סוכן לביצוע פעולה מסוכנת, היא בולמת את הפעולה לפני שתבוצע. כך היא מגינה מפני מתקפות שבהן הוראות זדוניות מוסתרות בתוכן שהסוכן נחשף אליו במהלך עבודתו (Indirect Prompt Injection). במקום להסתמך על מנגנוני סיווג סטטיים או על זיהוי דפוסי תקיפה מוכרים, AgentSense מבחינה בין ההוראות שהסוכן אמור לבצע לבין תוכן שהוא נחשף אליו ושאינו אמור להנחות את פעולותיו. גישה זו מאפשרת לזהות ולבלום גם מתקפות שאינן תואמות דפוסים שנצפו בעבר, ומספקת שכבת הגנה ייחודית מסוגה מפני ניצול של חולשות יום-אפס (Zero-Day).
יכולת AgentSense Drift Detection תשלים את Untrusted Influence Detection: בעוד שהיכולת הקודמת מתמקדת בהשפעת התוכן שהסוכן נחשף אליו, יכולת זו תבחן אם פעולותיו משרתות את המשימה או את המטרה המקורית. לאורך תהליך העבודה, היא תזהה פעולות שהסוכן אמנם מורשה לבצע אך חורגות מהמשימה שהוטלה עליו, ותסייע לשמור על תקינות ביצועה.
״DuneSlide, EchoLeak ו־CurXecute הן דוגמאות בולטות לחולשות המאפשרות להחדיר הוראות זדוניות לסוכני AI שממשיכות לייצר לכותרות. מקרים אלה ממחישים עד כמה חשוב שארגונים יוכלו לסמוך על סוכני AI שיבצעו את המשימות שהוגדרו להם, אפילו כאשר הם נחשפים לתוכן בשליטת גורמים זדוניים״, מסר איתי רביה, Head of Cato AI Labs. ״AgentSense מסייעת לשמר את האמון זה ולאמץ את השימוש בסוכני AI בלי להעניק לתוקפים שליטה בתהליכי העבודה של הארגון.״
קייטו נטוורקס מספקת פלטפורמת ענן מאוחדת לרשת ולאבטחת מידע בעידן ה־AI. הפלטפורמה משלבת רשת, אבטחה וניהול גישה, ומאפשרת לארגונים לקבל תמונה מלאה של הפעילות בארגון, להבין את ההקשרים בין משתמשים, יישומים, נתונים ואינטראקציות עם AI, ולפעול על בסיס המידע הזה באמצעות מנגנוני שליטה אחודים. קייטו משלבת אבטחה מבוססת AI עם מנגנוני הגנה אוטונומיים כדי להתמודד עם איומים מתפתחים, לאפשר לארגונים לאמץ AI בבטחה ולסייע להם להישאר צעד אחד לפני האיומים בעולם שבו ה־AI ממלא תפקיד הולך וגובר במתקפות סייבר. החברה מאפשרת לארגונים להחליף תשתיות מיושנות, לשפר את החוסן התפעולי ולהאיץ חדשנות, תוך שמירה על פשטות תפעולית ורמת אבטחה גבוהה.
צילום: יפעת יוגב




















