במפגש מדברים AI האחרון דיברנו על מודלים חינמיים ומודלים פתוחים. השבוע אין מפגש (בלי קשר למלחמה, זה דילוג שתוכנן מראש ויצא לנו טוב). שבוע הבא מתוכנן מפגש חשוב על גישת שלושת השכבות ואיך לקבל קוד טוב מסוכן קידוד אני אעדכן כאן ובמייל לקראת חמישי הבא אם יתקיים לפי המצב.

עכשיו בואו נזכר מה היה לנו בשבוע שעבר.

1. מהם מודלים פתוחים

שלוש החברות הגדולות שבונות כלי AI הן גוגל, אנטרופיק ו OpenAI ולכל אחת מודל מוביל משלה. חברות אלה ואחרות בונות גם אקוסיסטם שלם סביב המודלים - סוכני קידוד, APIs, פרוטוקולים ועולם שלם של כלים.

מודל הוא החלק שמקבל טקסט ומחזיר את המשך הטקסט. אפשר להגיד שזה "המוח" של כל כלי בינה מלאכותית. הכלי עצמו עוטף את המודל ומלביש לו פונקציונאליות או חיבור לעולם, לדוגמה קלוד קוד הוא סוכן קידוד שעוטף מודל ומחבר אותו לקוד. גם ממשק הווב לשיחה עם AI הוא סוכן, הוא עוטף את המודל ביכולות שמאפשרות חיפוש ברשת או הרצת קוד.

המודל, או המוח של הכלי, מביא איתו סוג מסוים של הטיות, תשובות, גישה וחשיבה. מודל GPT-5.2 לא יחזיר את אותן תשובות כמו Gemini Flash. יש כאלה שחושבים ששלוש חברות זה מספיק ואפילו יותר מדי אבל לדעתי תחרות פה היא חיובית ומוסיפה עניין למשחק. אבל זה לא כל כך פשוט.

כשאני שולח שאלה למודל שרץ בענן אני סומך על ספק המודל שישמור על השאלה שלי והתשובה של המודל באופן מאובטח. אם השאלה כוללת מידע פרטי או קוד של המערכת אני סומך על ספק המודל שלא ישתמש בקוד הזה לדברים שלא הרשיתי. סיכוי טוב שאנחנו לא מוכנים לסמוך כך על כל אחד שטוען שיש לו מודל חדש.

מודלים פתוחים מציעים לנו דרך לעבוד עם מודלים חדשים ולבנות מחדש אמון. מודל פתוח הוא מודל שכל אחד יכול להריץ ולכן אני יכול להריץ אותו על המחשב שלי או על מחשב בספק ענן עליו אני סומך. קיימים מודלים פתוחים שיספרו לכם איך הם פיתחו את המודל ונותנים לכם את כל הכלים לבנות את המודל לבד אצלכם, ויש מודלים פתוחים קצת פחות ידידותיים שנותנים לכם רק את מטריצת המשקלים של המודל, כלומר נוכל להריץ את המודל על המחשב שלנו אבל לא נוכל לבנות מטריצה כזאת מאפס ולא נדע מאיזה מידע המודל נוצר.

מודלים פתוחים מוסיפים לתחרות - חלקם מוכנים לענות על שאלות בנושאים ששלושת המודלים הרגילים לא עונים, חלקם יציגו תשובות חדשות ויצירתיות לשאלות וכולם יהיו הרבה יותר זולים משלושת המודלים הגדולים כי אתם יכולים להריץ אותם על חומרה שלכם.

בנוסף למודלים הפתוחים יש גם מודלים חינמיים. אלה מודלים שחברות מציעות לצורך בדיקה וקידום מכירות, לרוב הם יוצעו תחת שם בדוי ודרך אתר OpenRouter במקום דרך אתר החברה עצמה. המודל החינמי מאפשר לכם גישה בלי תשלום ובתמורה הם משתמשים בשיחות כדי לשפר את המודל או לאסוף מידע על שאלות שנשלחות. שימו לב שמודל חינמי אינו מודל פתוח, לפעמים התשובות שלו יהיו טובות יותר ותמיד יהיה פה איזשהו וויתור על פרטיות בעבודה איתם.

2. איך עובדים עם מודלים פתוחים

הכלי האהוב עליי לעבודה עם מודלים פתוחים נקרא Ollama (יש עוד. אולמה הוא פשוט האהוב עליי). אפשר להוריד אותו מהאתר שלהם כאן:

https://ollama.com/

אולמה מציע שני מסלולים לעבודה עם המודלים הפתוחים:

1. ניתן להוריד ולהריץ באמצעותו מודלים על המחשב שלכם.

2. ניתן להשתמש בו כדי להתחבר למודלים פתוחים שרצים על שרת הענן שלהם.

במחיר סמלי של 20$ לחודש תקבלו גישה כמעט ללא הגבלה לענן של Ollama ותוכלו לעבוד עם כל המודלים הפתוחים שם. בשביל להריץ מודלים אצלכם על המחשב לא צריך לשלם שקל אבל דרושה חומרה חזקה. איכות המודל נקבעת לפי סוג המודל ולפי מספר הפרמטרים במטריצת המשקלים. אם נסתכל לדוגמה על deepseek אז נראה באתר של אולמה שיש לו מספר גרסאות, הראשיות הן 1, 2 ו-3. בכל גרסה יש כמה אפשרויות למודל ולפרמטרים לדוגמה deepseek-coder שזו גרסה של המודל מלפני שנתיים המיועדת לקידוד ניתנת להורדה בגרסת 1.3 מיליארד פרמטרים, 6.7 מיליארד פרמטרים או 33 מיליארד פרמטרים. מספר הפרמטרים משפיע על הגודל והגרסה הגדולה ביותר 33 מיליארד פרמטרים תופסת 19 ג׳יגה.

מודל gpt-oss שהוא מודל פתוח מבית OpenAI מגיע בגרסת 20 מיליארד פרמטרים ו 120 מיליארד וגרסת ה 120 מיליארד היא בגודל 65 ג'יגה.

בשביל לשאול שאלות בשיחה תספיק לנו גרסה קטנה של 6-7 מיליארד פרמטרים. בשביל סוכן קידוד אפילו ה 120 מיליארד עלול להיות בסיסי מדי.

אולמה מספק אפליקציה גרפית דרכה אפשר לדבר עם מודלים, לשאול שאלות ולראות את התשובות שלהם באפליקציה. שווה להשתמש בה כשמתייעצים עם מודלים מקומיים וכך לקבל פרטיות מירבית בשיחה עם ה AI.

3. איך לכתוב קוד עם מודל פתוח

מודלים פתוחים שמסוגלים לכתוב קוד הם ענקיים ולרוב לא תרצו להריץ אותם על המחשב אלא בענן של Ollama (או בשרת ענן אחר). המודלים הרלוונטיים היום לפיתוח קוד הם:

1. glm-5
2. minimax-2.5
3. kimi-k2.5
4. qwen3-coder-next

אולמה מגיע עם אינטגרציה מובנית לסוכני קידוד ואפשר לקרוא עליה כאן:

https://docs.ollama.com/integrations

בשביל להריץ את קלוד קוד עם מודל של אולמה נפעיל:

ollama launch claude --model minimax-2.5:cloud

או כל מודל אחר שתרצו. אני שמתי לב שמינימקס עובד ממש טוב עם קלוד קוד.

סוכן קידוד מתחרה של קלוד קוד נקרא OpenCode וגם אותו אפשר להריץ עם אולמה, פה שמתי לב ש glm-5 עובד טוב יותר:

ollama launch opencode --model glm-5:cloud

נ.ב. אני לא יודע למה קלוד קוד עובד יותר טוב עם מינימקס ואופןקוד עובד יותר טוב עם glm. אני כן יודע שהמפתחים של קלוד קוד עובדים מול קלוד וחושד שמינימקס יותר דומה לקלוד בתשובות שלו והמפתחים של אופןקוד עובדים עם glm ולכן כנראה הפרומפטים והכלים שהם בונים נבדקו ועברו אופטימיזציה למודל זה.

אם אתם מעדיפים לעבוד בתוך VS Code יש מספר אינטגרציות ל Ollama שתוכלו להתקין כמו cline, kilocode ו Roo Code כולן יודעות להתחבר ל Ollama. ל VS Code עצמו יש אינטגרציה עם Ollama אבל בינתיים היא עובדת במצב ask בלבד ולא במצב סוכן אז פחות רלוונטית.

4. כלים, אקוסיסטם והעתיד

כמו שדברים נראים עכשיו האקוסיסטם מאוד אינטראופרבילי כלומר יש הפרדה בין המודל לסוכן. לכן כלי כמו Ollama נותן לנו אפשרות לחבר מודל שלנו לכל סוכן שנבחר - בין אם זה אוטומציה (n8n), שיחה (onyx) או הכי פופולרי סוכן קידוד.

לאחרונה אנטרופיק יצאה במתקפה משפטית על החברות הסיניות בטענה שהן מאמנות את המודלים שלהן מתוך המודלים הקיימים של אנטרופיק וכך חוסכות לעצמן עלויות באמצעות מתקפה שנקראת דיסטילציה. אני לא מבין מספיק בשביל להרחיב על זה אבל יכול לשער שאם אפשר "להעתיק" מודלים יהיו מי שישמחו לעשות את זה ולהפיץ כך מודלים פתוחים. אפילו בלי דיסטילציות יש היום המון מודלים פתוחים במאגרים של Ollama ושל Hugging Face כך שנראה שהם לא הולכים להיעלם.

אין ספק שהעולם של כלי פיתוח וכלים מבוססי AI עובר רעידת אדמה משמעותית בתקופה זו וקשה לדעת איך דברים יראו אפילו בעוד חודש. אבל האינטראופרביליות פועלת מאוד לטובתנו. אין שום בעיה להתקין Ollama ולנסות לדבר עם סוכן שיחה פתוח שרץ אצלכם על המחשב או עם סוכן קידוד בענן של אולמה כדי להשוות תוצאות.