בואו ניקח את רשימת 10 החולשות מ OWASP של יישומי LLM כדי להבין האם ה AI חושף אותנו לבעיות אבטחה חדשות, או שאולי זו בסך הכל אותה גברת בשינוי אדרת ועלינו לגשת לאבטחת המידע עם אותה זהירות שהיתה לנו עד עכשיו. הנה הרשימה:

1. הזרקת פרומפט
2. חשיפת מידע רגיש
3. פגיעה בשרשרת האספקה
4. הרעלת מידע
5. שימוש בפלט מ LLM בלי לנקות אותו קודם
6. עודף הרשאות לסוכן
7. שימוש במידע סודי בפרומפט
8. הזרקת פרומפט במנועי RAG
9. ניצול לרעה של ההזיות
10. מניעת שירות באמצעות שאילתות שייתקעו את ה LLM או יבזבזו הרבה טוקנים.

רוב הפריטים פה אמורים להיראות לכם מאוד מוכרים!

הזרקת פרומפט היא גלגול חדש של הזרקת SQL והזרקת JavaScript (ולזקנים - ניצול Buffer Overflow לצורך הזרקת קוד). חשיפת מידע רגיש זה בדיוק המערכת שלא בודקת זהות לפני שמאפשרת גישה לנתיב פרטי. שרשראות האספקה הן תוהו ובוהו כבר יותר מדי שנים ומזמן למדנו שלפני ששולחים משהו לפקודת Shell צריך לנקות אותו.

הרבה זמן אנחנו מדברים על זה שבפיתוח מערכת כל רכיב צריך לקבל את ההרשאות המינימליות לביצוע רק את המשימות שלו ושמידע סודי צריך לשבת במקומות שמורים היטב. בעבודה עם LLM-ים עלינו להתיחס לקוד שקורא ל LLM בתור רכיב במערכת ולהגביל את ההרשאות שלו, בלי קשר לפלט שהוא יקבל מה LLM. הגבלה כזאת גם תציל אותנו משימוש לרעה בהזיות - אפילו אם התוקף יודע שלמודל יש נטייה להזות שם מסוים של ספריית JavaScript, הקוד שלנו צריך לוודא לפני שטוען את הספריה (שה LLM המליץ) שהספריה באמת קיימת ואינה זדונית.

עם כל החוכמה של הבינה המלאכותית, בנושא אבטחת מידע אין הרבה חדש תחת השמש. לא סומכים על אף אחד ובמיוחד לא על LLM.