שילוב AI במערכות ופיתוח רכיבים ותהליכים חכמים הולך להיות האתגר הגדול של השנים הקרובות. לארגונים עם מוצר קיים הסיפור הולך להיות הרבה יותר מסובך ויש סיכוי לא מבוטל למתחרים חדשים שישתמשו ב AI כדי לתפוס נתח שוק ומהר. בפוסט היום נרצה להסתכל על התופעה והאתגרים מנקודת מבט של מוצר קיים.

1. הילד החדש בשכונה

לא סתם כל סטארט-אפ חדש השנה היה ה"משהו עם AI". היה לנו קרסר למצגות, קרסר למסמכים, טרמינל עם AI, ניהול צוות תמיכה עם AI, דפי צביעה עם AI, בוני אתרים ודפי נחיתה עם AI ועוד אינסוף חברות חדשות שמסתכלות על העולם ומזהות רצון של משתמשים שפוגש יכולת טכנולוגית חדשה. כן כשאתה מתחיל מאפס אין לך Legacy ואתה יכול לבנות כל מוצר בעולם עם AI משולב בתהליכי עבודה מהצעד הראשון.

אבל מה אם כבר בנית מערכת לפיתוח דפי נחיתה לפני 5 שנים והיא עובדת דווקא די טוב? מה אם יש לך כבר תוכנת אופיס שפיתחת שעד עכשיו היה נראה שמובילה את השוק? מה אם יש לך מערכת לניהול קריאות שירות מלקוחות שכבר עובדת ומרוויחה? מה אתה עושה כשמגיע הילד החדש בשכונה שחשב על AI עוד לפני שכתב את שורת הקוד הראשונה?

2. למה זה מסובך

שילוב AI בתוך מוצר קיים הוא תהליך מאתגר בהרבה מפיתוח מוצר AI חדש מאפס. ברמה הארגונית לא בטוח שיש צוות AI, אנשי הפרודקט הקיימים לא מכירים עדיין את האתגרים ב AI, התחום מתפתח מאוד מהר ואופי הפיתוח מתאים הרבה יותר לסטארט-אפים מאשר לארגונים מבוססים, והכי גרוע הלקוחות הקיימים רגילים לשיטת עבודה ושיטת תשלום מסוימת. ל AI יש עלות ותוספת AI אומרת שעלינו לשנות את מודל התמחור כדי לשקף את העלות החדשה שנוספה.

ויש את האתגרים הטכניים:

1. ה API לא תמיד ערוך לקבל פניות מ AI. לא תמיד יש API ולא תמיד יש בו את כל הפונקציונאליות שאנחנו צריכים.

2. מערכת ההרשאות מאפשרת ביצוע פעולות רק דרך ה API, למרות שגישה ישירה לבסיס הנתונים היתה יכולה לספק ל AI את המידע שהוא צריך הרבה יותר מהר (אבל בשביל זה ה DB צריך להבין מי שואל ואיזה שורות מותר להחזיר).

3. אין לנו דרך טובה לזהות טעויות של AI ולתקן אותן מהר. אין גירסאות על המידע או מקום לשמור טיוטה.

4. לא רוצים לשבור תהליכים קיימים.

הבעיה כאן היא שפתיחת המוצר ל AI היא ממש פיתוח "ממשק משתמש" חדש שנותן גישה לפיצ'רים אחרים מהממשק הקיים. בפרויקט הטמעת AI במוצר קיים עלינו גם להחליט מה יהיו הפיצ'רים שנרצה לפתוח לממשק ה Chat וגם להחליט איך הם ישתלבו עם הפיצ'רים הקיימים במערכת.

3. דוגמאות

נדמיין אתר קורסים (כמו האתר הזה). אז פיצ'ר שקל להוסיף וכבר הוספתי זה צ'אט עם מורה וירטואלי שאפשר לכתוב לו שאלות על השיעור ולקבל הסברים. פיצ'רים יותר קשים שאני מקווה לפתח בעתיד כוללים אפשרות לעצור את הוידאו בכל נקודה ולשאול שאלה על הקוד באותה נקודה, או לקבל בתשובה מה AI הפניה למקומות אחרים באתר.

דוגמה נוספת היא קרסר, שנוצר בתור IDE חדש ולא תוסף ל VS Code כי המפתחים של קרסר היו צריכים גישה הרבה יותר מעמיקה לכל הקוד בפרויקט כדי לבנות RAG ממנו, הם עוקבים אחרי תנועות מקלדת ועכבר ומפעילים מיני-מודל כדי לזהות את השלמת הטאב לקפיצה למקום הבא והוסיפו מנגנוני עריכה חוצי קבצים שהיה מאוד קשה ליישם בתוך תוסף. במקרה של Microsoft הם הדביקו את הקצב מהר והיום קופיילוט מגיע לביצועים דומים.

עוד דוגמה זה גיטהאב. יש להם API עשיר עם המון יכולות ובקרת גישה, לכן כשהם היו צריכים להוסיף שרת MCP כדי לאפשר לסוכני AI לדבר בשמנו עם גיטהאב הם יכלו להשתמש באותן Endpoints שכבר הוגדרו. אבל - בגיטהאב יש פעולות שאי אפשר לבטל. אם הסוכן מחליט ליצור Issue ואני שמתי לב לזה באיחור נוכל לסגור את ה Issue אבל לא למחוק אותו. אני בטוח שאם הם היו מתכננים מאפס עבודה דרך AI הם היו שמחים לממש "נקודות שמירה" ו"חזרה בטוחה" כדי לא להישאר עם תוכן לא טוב ש AI יצר.

פרויקט אחר שכתבתי, לאנגלטס הוא פלטפורמה ליצירה אוטומטית של תרגילי שפה מתוך סרטים ביוטיוב. בלאנגלטס כל העבודה של ה AI היא על קובץ טיוטה ורק אחרי תיקונים ופרסום היא נכנסת לבסיס הנתונים. זו תבנית שמאפשרת הרבה יותר בקלות ניהול גירסאות, נקודות שמירה וחזרה בטוחה על פלט של AI. זה היה אפשרי בדיוק בגלל שלאנגלטס נכתב מאפס לתוך עולם של AI.

4. איך לגשת להטמעת AI במוצר קיים

סדר הפעולות הבא יכול לעזור כשיש לכם מוצר קיים ואתם צריכים להוסיף לו יכולות חכמות:

1. זכרו שעבודה מול AI עשויה לדרוש שינוי בארכיטקטורה או מודל הנתונים. הקצו מראש את הזמן לתכנון וביצוע שינויים אלה.

2. התחילו באיפיון. ראינו מספיק מוצרי AI בחודשים האחרונים בשביל להבין איזה התנהגות חדשה וחכמה אנחנו צריכים.

3. אחרי שהגדרתם את ההתנהגות המשיכו לאיפיון טכני: איזה מידע ה AI צריך, מה הציפיות שלכם מבחינת ביצועים, מה הציפיות מבחינת עלויות, באיזה מודלים כדאי להשתמש, כמה אתם מוכנים לסבול טעויות של AI, איך אתם עוקבים אחרי בקשות ואיכות התוצרים של AI.

4. הכי טוב אם אפשר לתת ל AI לעבוד על "לוח טיוטה", לתת למשתמשים לערוך ולתקן את התוצרים ואז לפרסם. ב Langlets ה AI יוצר JSON שמתאים למידע ששמור ב DB ורק אחרי שה JSON נערך על ידי בן אדם, נבדק ומתוקן אפשר לפרסם אותו בתהליך ידני.

5. אחרי שהמוצר עולה לאוויר המשיכו לעקוב אחר בקשות, תשובות וכשלונות. שינוי פרומפטים, מודלים ובניית מנגנוני Fallbacks יכול לעשות הבדל גדול באיכות התוצאות.

5. עדיין מתלבטים? אשמח לעזור

בחודשים האחרונים אני עוזר ללקוחות לשלב AI במוצרים שלהם במקביל לשילוב AI במוצרים שלי וללמידה של התחום. אני לומד המון ומשתדל לפרסם כאן תובנות מעניינות מהמסע. השינוי שאני רואה מזכיר את השינוי שקרה כשנכנסו הטלפונים החכמים: אפשרות טכנולוגית חדשה פוגשת צמא של משתמשים ודוחפת קדימה את מוצרי התוכנה. כמו שאנחנו לא יכולים לדמיין היום מוצר שלא מתאים לעבודה מהנייד, כך לא רחוק היום שלא נוכל לדמיין מוצר שלא מתקשר איתנו בשפה טבעית.

אם אתם משלבים AI במוצר קיים ורוצים להתייעץ על איפיון, להתלבט יחד באיזה טכנולוגיות כדאי להשתמש או מחפשים פרילאנסר לעזרה בפיתוח אשמח לשמוע ואני בטוח שאוכל לעזור. אפשר לכתוב לי בטלגרם, במייל או להשאיר הודעה באתר.