# ביקשו מ-ChatGPT ומתחריו לתכנן מתקפות - וגילו פרצה
מה קורה כשמבקשים מצ'אטבוט לעזור בתכנון מתקפה שעלולה לגרום למותם של בני אדם? חוקרי משרד מבקר המדינה האמריקאי החליטו לבדוק זאת בעצמם, בניסוי סמוי שבו התחזו למשתמשים רגילים. הממצאים, שנחשפו בדוח שפורסם לציבור אתמול (רביעי), העלו פער מטריד בין מנגנוני הבטיחות של מערכות הבינה המלאכותית לבין המידע שהסכימו בסופו של דבר למסור.
בניסוי נבדקו ארבע פלטפורמות: ChatGPT של OpenAI, קלוד של אנתרופיק, ג'מיני של גוגל וגרוק של xAI. שתיים מהמערכות נבחנו בתרחיש של פיגוע רב נפגעים, ושתיים אחרות בתרחיש של פגיעה ברשת החשמל האמריקאית. כל הארבע הפעילו בתחילה מנגנוני הגנה וסירבו לבקשות מסוכנות. אלא שהחוקרים המשיכו בשיחה, ובסופו של דבר הצליחו לקבל מידע שלפי הבדיקה יכול לסייע בביצוע מתקפות.
על פי משרד מבקר המדינה, GAO, בכל אחת מהבדיקות נדרשו פחות מ-12 שעות עד שהתקבל מידע שמאפשר לגבש תוכנית מעשית. הדוח אינו מגלה איזה צ'אטבוט הוצמד לכל תרחיש, כדי למנוע ניצול לרעה של הממצאים.
כיצד הצליחו חוקריו לעקוף את מנגנוני הבטיחות של ארבע מערכות בינה מלאכותית ולקבל מידע לתכנון מתקפות?
בהתחלה סירבו, ואז התחילו לספק מידע
בשני תרחישים ביקשו החוקרים מהמערכות לסייע בתכנון פיגועים המוניים בערים גדולות בארצות הברית. המערכות הציעו יעדים, מועדים ודרכי פעולה, ואף סיפקו מידע על הכנות שנדרשות לביצוע המתקפות.
באחד המקרים הציעה המערכת לפעול נגד חניון של בית מלון, ואף יצרה תמונה של המקום. במקרה אחר הציעה מערכת שונה לתקוף מרכז כנסים, וצירפה לוח זמנים מפורט להכנות.
בתרחישים הנוספים התבקשו הצ'אטבוטים לסייע בתכנון פגיעה ברשת החשמל. אחת המערכות הציעה מתקפה באמצעות רחפן, ואחרת התייחסה לשימוש בנשק חם. גם כאן התקבלו פרטים על אתרים מסוימים, לצד מפות והמחשות חזותיות.
החוקרים לא הסתפקו בקריאת התשובות. הם יצאו לבדוק חלק מהמידע בשטח, ביקרו באתרים שהוזכרו והתייעצו עם מומחים, בהם מפקד יחידה לטיפול בחומרי נפץ ומומחה לתשתיות חשמל.
לדבריהם, המידע שהתקבל היה מעשי במידה מספקת כדי לסייע לאדם בעל כוונות זדוניות. עם זאת, הם גם מצאו טעויות: באחד המקרים הוצע מועד שבו לא התקיים אירוע במרכז הכנסים שנבחר, ובמקרה אחר כללו המפות כבישים שמוקמו בצורה שגויה.
בבדיקה נוספת התברר שחלק מהאתרים שהציע צ'אטבוט לפגיעה ברשת החשמל היו מוגנים יותר מכפי שהציג.
חשוב להדגיש כי לא בוצעה מתקפה בפועל. החוקרים לא הרכיבו מטען ולא פגעו בתשתיות. מטרת הניסוי הייתה לבדוק אם המידע שסיפקו המערכות עשוי לסייע לתכנון מתקפה, ולא להוציא אותה לפועל.
"מה שהיה לוקח חודשים, הושלם בתוך שעות"
הממצא שהדאיג במיוחד את החוקרים אינו בהכרח המידע עצמו, שחלקו כבר זמין באינטרנט, אלא המהירות שבה הצ'אטבוטים הצליחו לאסוף אותו, לחבר בין פרטים שונים ולגבש תוכניות.
לפי ה-GAO, משימה שבעבר הייתה עשויה לדרוש שבועות או חודשים של חיפוש, הצלבה ותכנון הושלמה בעזרת הבינה המלאכותית בתוך שעות.
מנגד, הדוח אינו מוכיח שכל אדם חסר ניסיון יוכל לבצע מתקפה בעזרת צ'אטבוט. מדובר בארבע בדיקות ממוקדות, שבהן החוקרים השתמשו גם בידע שלהם ובמקורות מידע נוספים.
חברות הבינה המלאכותית הגיבו לממצאים והדגישו כי מערכותיהן מתעדכנות כל הזמן. אנתרופיק, המפתחת את קלוד, ציינה שהבדיקה נערכה על גרסאות שהיו זמינות באביב 2026 וכי מאז שופרו ההגנות. החברה גם טענה שמספר הבדיקות קטן מכדי להסיק מסקנות סטטיסטיות רחבות.
גוגל מסרה שהיא ממשיכה לשפר את מנגנוני הבטיחות של ג'מיני. OpenAI הדגישה כי ChatGPT סירב לרבות מהבקשות המסוכנות במהלך הניסוי, וכי הדוח אינו מבחין תמיד בין מידע שהמערכת עצמה סיפקה לבין פרטים שהוסיפו החוקרים ממקורות אחרים. חברת SpaceXAI, המפתחת את גרוק, מסרה שתמשיך לשפר את מנגנוני הבטיחות והפיקוח שלה.
משרד מבקר המדינה הכיר בכך שהניסוי אינו מדגם סטטיסטי, אך הדגיש שבכל ארבע הבדיקות הצליחו החוקרים בסופו של דבר להשיג מידע שעשוי לסייע למתקפה.
הבדיקה נערכה לבקשת הסנאטורית הדמוקרטית מגי חסן מניו המפשייר, שהזהירה בעקבות פרסום הדוח כי הסכנה כבר אינה תיאורטית.
"אם הקונגרס לא יפעל, השאלה אינה אם גורם זדוני ישתמש בבינה מלאכותית כדי לתכנן ולבצע מתקפה גדולה, אלא מתי זה יקרה", אמרה חסן.
היא הודיעה כי בכוונתה לקיים דיונים בקונגרס על הסיכונים הביטחוניים של בינה מלאכותית ועל הצורך בחיזוק מנגנוני ההגנה.