טכנולוגיות וירטואליזציה לשרתים בשילוב מערכת הפעלה לינוקס שהיתה בקוד פתוח העלו את הפופולריות של שכירת "שרתים" וירטואליים במחירי ריצפה. דיגיטל אושן קמה ב 2011 ואיפשרה לכל אחד לשכור שרת לינוקס ב 5$ לחודש. מאז ובזכות בסיסי נתונים בקוד פתוח ושפות תכנות ופריימוורקים פתוחים כולנו יכולים לעבוד בענן בזול וגם להתקין מערכות דומות בחינם על מחשבי הפיתוח שלנו. ב 2013 דוקר הצטרף למסיבה ותוכנות התחילו לרוץ בתוך קונטיינרים.

ב 2014 אמזון מפרסמים את Lambda ואנחנו גילינו שכן אנחנו יכולים להתקין ולהריץ הכל על מכונה וירטואלית אחת אבל כשצריך לעשות דברים בסקייל יותר קל לכתוב פונקציית Lambda או להשתמש בסרביס של תור הודעות או סרביס של שליחת מייל. האינטגרציה בין השירותים השונים שכנעה רבים לוותר על ניהול השרת המקומי.

ועכשיו עם ה AI נראה שמודל הענן מתרחב - לא רק שנצטרך לשלם לכל דקת חישוב על הקוד שלנו, הרכיב הבא בתשתית יחייב בתשלום לפי טוקנים למודל ה AI התורן. וכל זה בתקופה שיש אינסוף מודלים חינמיים בקוד פתוח, שאי אפשר להריץ כי הם דורשים יותר מדי משאבים.

לא בטוח מה תהיה הקפיצה הבאה בפיתוח ה AI, אבל מה שהייתי רוצה לראות היום זה דרך להוריד את מחירי המודלים כדי שאפשר יהיה להשתמש במודלי הקוד הפתוח ובמחירים נמוכים משמעותית ממה שאנחנו רואים במודלים המסחריים. לא למשחקים וניסויים כמו שאני יכול להריץ על gradio, אלא ממש שרת שאני יכול בלחיצת כפתור להתקין עליו מודל קוד פתוח ולחבר למערכת שלי וכל זה במחיר קבוע של 5$ לחודש.

וכן Docker Model Runner הוא צעד טוב בכיוון ואני מקווה שיגיע לעוד מערכות הפעלה, אבל אני חושש שהסיפור הגדול עם LLM מחוץ לענן הוא החומרה, ואת זה לא ברור איך לפתור.

מתי נראה את ה Digital Ocean הראשונה למודלי קוד פתוח? ואיזה קפיצה טכנולוגית עוד צריך כדי להגיע לשם?