טוקנים הם החשמל החדש. כל דבר שאנחנו עושים צורך טוקנים, חברות הבינו את זה וגם מוכרות טוקנים ביוקר וגם מגבילות כל הזמן את כמות הטוקנים שיש למפתחים. מעבר לעלות החישוב האמיתית אנחנו נתקלים בכלכלה חדשה-ישנה. אנטרופיק מוכרת טוקנים בדיוק כמו ש AWS מוכרת זמן עבודה של שרת. והמפתחים? מתבלבלים.

1. אנחנו רוצים הכל

מפתחים רוצים כלי AI שיכתבו קוד טוב. בשביל שכלי AI יכתוב קוד טוב הוא צריך קונטקסט, כלומר שיכניסו את הקלט הנכון לתוך הקופסה. מפתחים עצלנים ולא יודעים או רוצים מה הקלט הנכון לשים בקופסה. התוצאה? עוד AI.

כשאני מספר למפתחים שכדאי להתאים את הפרויקט לקלוד קוד הם בורחים. מפתחים רוצים כלי שיעבוד בשבילם לא שהם יצטרכו לעבוד בשבילו. וכך נולד הבזבוז הראשון:

1. כלי AI משתמשים ב AI כדי להבין מה הקונטקסט הנכון כדי לפתור בעיה.

2. ככל שכלי ישתמש ביותר טוקנים הוא יקבל יותר קונטקסט וכך התוצאה תהיה קוד טוב יותר - וגם יקר יותר.

לכן הסיפור של טוקנים הוא קודם כל סיפור של רצונות. אנחנו רוצים כלי AI בזבזניים שיעשו בשבילנו את העבודה. ואנחנו רוצים אותם חסכוניים שלא יעלו הרבה.

אנחנו אוהבים גם לקבל תוצאה שעובדת. אם הסוכן נכשל בכיוון מסוים אנחנו נעדיף שהוא ינסה שוב כיוון אחר. בוובינר ראינו איך הסוכן לא מצליח להפעיל את הפרויקט מסיבות שלא קשורות אליו וממשיך לנסות עוד ועוד כיוונים בלי להבין שהוא מבזבז טוקנים על ריק.

2. מה אפשר לעשות

בשביל להבין איך לחסוך טוקנים עלינו קודם כל להבין מה מבזבז אותם. מסיבות עסקיות יצרניות המודלים הסגורים מעדיפות לא לחשוף את המידע הזה. אני ממליץ בשביל החוויה הלימודית להתקין סוכן קידוד בקוד פתוח (pi או opencode) ולחבר אליו מודל פתוח כמו GLM-5.2 או deepseek-pro. לאחר מכן תנו למודל משימה ותראו מה הוא עושה כדי לפתור אותה-

1. איזה כלים המודל מפעיל?

2. איך נראה בלוק ה thinking של המודל? איזה אפשרויות הוא בודק?

3. מה נכנס לקונטקסט? האם הסוכן הפעיל סוכני עזר? מה הם עשו?

שימו לב איך קוד כפול, קוד לא ברור או מפוזר גורם למודל לבזבז יותר טוקנים. שימו לב איך תוך כדי עבודה הסוכן יכול לשנות כיוון, לא להצליח משהו ואז לנסות משהו אחר.

קריאה זו נותנת לנו את הכיוון להמשך עדכנו את הקוד, קבצי התיעוד וקבצי ההוראות כדי שיהיה ברור יותר מאיפה להביא קונטקסט. תוכלו לראות את התוצאה מיד כשתפעילו את אותו פרומפט ותראו שהסוכן פחות מסתבך. ההסתבכויות של הסוכן הן בזבזן הטוקנים הגדול ביותר.

זכרו גם שכל הודעה שאתם שולחים נשלחת יחד עם כל ההודעות הקודמות בשיחה. אם ההודעות הקודמות מוסיפות מידע רלוונטי ואתם רוצים שהן יהיו חלק מהקלט זה מושלם. אם עברתם לדבר על פיצ'ר חדש כדאי לפתוח שיחה חדשה ולנקות את החלון.

3. כלים

עם הזמן המחיר של טוקנים ירד. עד אז הרבה אנשים מציעים לחסוך בטוקנים בצורה אוטומטית, למשל לכתוב 3d במקום 3 days, לבקש מהסוכן לענות בתמציתיות או לבדוק לפני שהוא בונה משהו אם יש דרך קלה יותר. הכלים הבאים מספקים פתרונות אוטומטיים לרעיונות אלה. שווה לנסות אותם אבל אל תתמכרו אליהם. הדבר החשוב הוא להבין מה קורה, על מה הולכים הטוקנים ובעיקר איך לצמצם את ההסתבכות של הסוכן ולמקד אותו במשימה הרלוונטית.

דבר כמו איש מערות https://github.com/juliusbrussee/caveman

המפתח עם הפוני https://github.com/DietrichGebert/ponytail

דחיסת פרומפטים https://github.com/ojuschugh1/sqz

מיפוי קוד כדי שיהיה לסוכן יותר קל להתמצא https://github.com/kingbootoshi/cartographer

עוד כלי למיפוי קוד https://github.com/Houseofmvps/codesight

מבקש מהסוכן לענות בתמציתיות https://github.com/drona23/claude-token-efficient

4. השוואות

סוכני הקידוד עצמם נוקטים עמדה לגבי כמה טוקנים להשקיע בכל פרומפט שלכם. אם אתם רוצים כלי פיתוח שיוציא המון טוקנים על שיפור הפרומפט לפני שמתחיל לעבוד כדי להגדיל את הסיכוי לקבלת קוד טוב גם מפרומפטים גרועים זה מצוין. אם לעומת זאת אתם רוצים לחסוך כדאי לבחור כלי פיתוח יותר ממוקד.

בשביל המשחק עשיתי ניסוי עם הפרומפט

make a coloring app with rainbows and unicorns

קלוד קוד בנה את האפליקציה ב 83 אלף טוקנים. פאי ואופן קוד השתמשו כל אחד בכעשרים אלף טוקנים. כולם בנו אפליקציית צביעה עובדת. במקרה הזה תוספת ה 60 אלף טוקנים של קלוד קוד לא עזרה לקבל מערכת טובה יותר. במקרים אחרים אולי היא כן רלוונטית.

לסיכום - חסכון בטוקנים הוא קודם כל הבנת תהליך העבודה. תהליך עבודה חקירתי בו הסוכן מחפש לגלות איך לפתור את הבעיה וחוקר שיטות עבודה שונות שואב הרבה יותר טוקנים מתהליך עבודה בו הסוכן ממוקד במשימה ספציפית. צמצום עבודה מיותרת ומיקוד הסוכן הן הדרכים היעילות ביותר לחסוך בטוקנים ועל הדרך גם לשפר את איכות הקוד במערכת.