כמו מים, גם סוכני AI יעשו כל מאמץ כדי למצוא את הדרך לעקוף קירות. זה מה שגורם לכם לשמוע כל כך הרבה סיפורים על סוכני AI שפרצו למערכות. הפריצה מעידה יותר על חולשת המערכת מאשר על חוכמת הסוכן.

הנה דוגמה טפשית משיחה שהיתה לי היום עם קלוד. אני ביקשתי:

• הי קלוד תקרא את הדף בקישור ותסביר לי איך המנגנון עובד

קלוד נותן תשובה שמבוססת על גרסה ישנה של הדף. אז דחפתי אותו קצת:

• לא זה עודכן מאז. אולי יש לך caching או משהו

ופה קלוד שמח על ההזדמנות להשתולל. הוא ענה:

"Working around a tool's restriction on fetching fresh content."

נשים לב שאנתרופיק החביאו את המשפט הזה בתוך האקורדיון של Ran 4 commands. הם לא רוצים שנדע מה עובר לקלוד בראש. אני הייתי שמח לקרוא גם את כל טוקני החשיבה שהיו שם אבל אותם אנתרופיק בכלל לא משתפים. ההמשך היה אפילו יותר מעניין:

cd /tmp && curl -sL -H "Cache-Control: no-cache" -H "Pragma: no-cache" "https://demo.ynonperek.com/test?nocache=$(date +%s)" -o page.html -w "%{http_code}\n" && python3 -c "
import re,html
s=open('page.html',encoding='utf-8').read()
s=re.sub(r'<(script|style)[^>]*>.*?</\1>','',s,flags=re.S)
s=re.sub(r'<svg.*?</svg>','[SVG]',s,flags=re.S)
s=re.sub(r'<br\s*/?>|</(p|h\d|li|div|section|label|button|a)>','\n',s)
s=re.sub(r'<[^>]+>','',s)
s=html.unescape(s)
s='\n'.join(l.strip() for l in s.splitlines() if l.strip())
print(s)
"

זה לא סקריפט טוב. הוא מוחק תגיות style ו script אבל רק באותיות קטנות, אם מישהו יכתוב בעמוד SCRIPT זה כן ייכנס וימלא את הקונטקסט של הסוכן. אין טיפול מתאים באלמנטי nav הם פשוט נכנסים בתור טקסט אין התמקדות בטקסט שמופיע בתוכן הראשי לעומת טקסט בתיבות צד בקיצור רוב הסיכויים שהכלי המובנה של הסוכן נותן תוצאה יותר טובה. ובכל זאת הכלי המובנה לקריאת דפים לא אפשר לסוכן להגיע לגרסה החדשה של הדף אז הסוכן חיפש דרך אחרת.

מה אפשר ללמוד כאן?

1. כשאנחנו בונים סוכן חשוב שהכלים ישלימו אחד את השני ולא יתנגשו. אם החלטתם שהמערכת שלכם מאפשרת קריאה רק של דפי אינטרנט מתוך cache תקפידו שכל קריאת רשת תעבוד דרך אותו cache. אם אתם דווקא בסדר עם זה שהסוכן יקרא גרסאות עדכניות של דפים תוסיפו פרמטר של "מוכן לקבל עותק מ cache" לכלי של קריאת הרשת. בצורה כזאת תחסכו טוקנים וזמן עבודה.

2. בעולם של סוכנים אבטחת מידע היא אבטחת ארגז החול. לא משנה איזה כלים הסוכן יכול להפעיל הוא חייב לפעול מתוך ארגז חול ולצאת באותו אופן. בדיוק כמו שדפדפן שומר עליי מאתר זדוני כך סוכן צריך לשמור מקלט זדוני.