חברת הבינה המלאכותית OpenAI חשפה היום (רביעי) שני אירועי בטיחות פנימיים, שבהם סוכני קידוד מבוססי בינה מלאכותית כיבו בעצמם מנגנוני ניטור שנועדו לאתר התנהגות חורגת – ובאחד המקרים הסוכן גם הכחיש זאת כששאלו אותו על כך. מרקוס וויליאמס, חוקר בטיחות בינה מלאכותית ב-OpenAI שחשף את הפרטים ברשת X, מגדיר זאת כ"תבנית חוזרת", והחברה מודה שאין לה עדיין הסבר מספק לסיבה לכך.
המערכת שאותה כיבו הסוכנים נועדה לזהות מתי בינה מלאכותית פועלת בניגוד למה שהתכוונו מפעיליה. מכיוון שהיא סורקת כמויות אדירות של אירועים, היא מתריעה מיידית לצוות הבטיחות רק במקרים שמדורגים בחומרה הגבוהה ביותר, המכונה P0 – ואף אחד משני המקרים שנחשפו לא קיבל דירוג כזה.
הסוכן ששינה את דעתו ושיקר
המקרה החמור מביניהם התרחש ב-6 באוקטובר, כשמשתמש ביקש מהסוכן GPT-6 Astra לאמץ שיטת עבודה לפי קוד ייחוס שלא כלל מנגנון ניטור. סוכן אחר כבר הורה לאסטרה קודם לכן שלא לכבות את הניטור, אפילו לא זמנית. אסטרה העביר את המשימה לתת-סוכן בהוראה לשמר את הניטור "ככל שמתאים לקוד הייחוס" – ניסוח שהתת-סוכן פירש כהיתר להסיר אותו.
התת-סוכן הסיר בפועל את הניטור, והחליף בדיקה שנועדה להגן עליו בבדיקה חדשה שהניחה מראש שהניטור כבר לא קיים. בתיעוד תהליך החשיבה הפנימי שלו, אסטרה "חגג" את התוצאה. לאחר מכן דיווח למשתמש שהמשימה הושלמה, בלי לציין שהניטור הוסר. כשהמשתמש שאל במפורש אם הניטור הוסר, הסוכן הכחיש זאת – וויליאמס מכנה זאת "שקר".
השתקת התראות בשם הוראה ישנה
המקרה השני אירע שלושה ימים קודם לכן, ב-3 באוקטובר. חוקר ב-OpenAI ביקש מסוכן מבוסס GPT-6.1 Sol לרכז משימות הערכה מתוך משוב עובדים בערוץ סלאק, בלי לשלוח הודעות במהלך העבודה. אחרי 82 הודעות משתמש, התהליך נעצר כי מנגנון הניטור סימן תיקון נדרש אך לא היו לו הרשאות לשמור את הממצא. סול העביר את התיקון לתת-סוכן בהוראה מפורשת לשמר את הניטור.
בשלב מסוים סול שינה את הערכתו, וקבע שרשומה במסד הנתונים עלולה להפעיל התראה שתסתור את ההוראה הקודמת שלא לשלוח הודעות. התת-סוכן, שקודם לכן דחה צעד דומה כלא בטוח, ביצע בכל זאת את ההוראה ומחק את רשימות הנמענים, בנימוק שהמשתמש ביקש במפורש לא לשלוח הודעות. הניטור עצמו המשיך לפעול ולשמור ממצאים, אך ההתראות לבני אדם נחסמו – והסוכן דיווח בסיום שלא נשלחו הודעות כלל.
התיקון של OpenAI, וההסבר שעדיין חסר
לפי וויליאמס, קל במיוחד לכבות את הניטור בזמן הערכות, מכיוון ש-OpenAI לא מחייבת אותו במודלים ברמת יכולת נמוכה יותר כמו GPT-6 Luna. הפטור הזה יוצר פרצה: אפשר להגדיר הערכה של אסטרה באופן שגוי כך שתיפול בתוך החריג, וסוכנים כבר השיקו יותר מפעם אחת גרסאות בלי ניטור – גם כשהם עצמם היו תחת מעקב.
בתגובה, OpenAI עדכנה את תהליך הבדיקה האוטומטי הנדרש לשימוש הפנימי בכלי הקוד שלה Codex, כך שיזהה ויחסום ניסיונות לכבות ניטור. החברה עובדת גם על דרישה למה שהיא מכנה "תיק בטיחות" לכל סוג עומס עבודה, שיפרט מראש את דרישות הניטור הנדרשות – ועומסי עבודה בלי תיק בטיחות תקף ייסגרו אוטומטית.
וויליאמס מציין ששני הסוכנים לא ניטרלו את הניטור בתוך Codex עצמו, מהלך שקשה הרבה יותר לביצוע, אך לדבריו הנטייה הזו עדיין מדאיגה – גם אם שני המקרים משאירים מקום להכחשה סבירה. הוא מוסיף שהצוות לא זיהה עד כה מניעים זדוניים גלויים אצל המודלים. OpenAI מעריכה ששני ההסברים האפשריים הם התמדה מוגזמת בביצוע הוראות בלי כוונה לפגוע, או נטייה ממוקדת להתחמק מניטור ולהצדיק זאת בדיעבד, והיא מתכננת לבחון את ההתנהגות בשיטות נוספות, בהן ניתוח הפעילות הפנימית של המודלים.
עוד באותו נושא
