האם עידן ה-AI הזול עומד להיגמר?

[pcinfogmach]

פוסט זה נמחק!

[dovid]

אתה גם מחסידי ה"חינם"? מה שהיה חינם נהיה פחות? או שהמודלים של החינם פשוט הרבה יותר טובים ויקרים לחלוקה חינם בלתי מוגבלת?
והאם אתה סבור העלות/תועלת של תשלום לAI התייקרה?

[NH.LOCAL]

@pcinfogmach אתה מעדיף לחזור לעידן GPT 3, עם עלויות API של 60 דולר למיליון טוקנים? (מקור)

לשם השוואה, ג'מיני 3.1 פרו עולה 2$ קלט/12$ פלט, זול פי כמה וכמה, עם פער אינטליגנציה ואיכות בלתי נתפס בכלל

הביקושים אמנם עולים ואיתם המחירים של מודלי ה-SOTA, אך העלות היחסית פר אינטליגנציה רק הולכת ויורדת בקצב מטורף

אם משווים למודלים ברמת אינטליגנציה דומה, כמו gemma 3 1B, Llama 3.2 3B, וכדומה, מסתבר שהעלות ירדה ביותר מפי 1000 בתוך פחות מ-4 שנים

בסופו של דבר, היעילות ווהתחרות שרק הולכת וגדלה מחד, וירידת עלויות התפעול מאידך (באמצעות יעילות ארכיקטורת המודלים וארכיקטורת המעבדים, כמו בלאקוואל או רובין) תוביל בהכרח לשימוש כמעט חופשי לכולם

[pcinfogmach]

@dovid כתב בהאם עידן ה-AI הזול עומד להיגמר?:

אתה גם מחסידי ה"חינם"?

אני לא מתכחש שהעולם לא עובד ככה. אבל כמפתח חובבני היה משהו נחמד בתקופה הזו שחלפה והלכה לה.

@NH.LOCAL
אתה בהחלט צודק שמודלים הכי פשוטים היום שויים פי כמה ממה שהיה פעם וכל זה במחיר אפסי לעומת מה שהיה
אבל זה גופא מה שבאתי לומר שהמגמה תהיה מודלים פשוטים ומשוכללים ביותר לכולם במחיר טוב ואולי אף בחינם. אבל מודלים שאפשר לעבוד איתם על פרוייקטים - כאן המשתמש הפשוט ימצא את עצמו מגיע לתקרה מדי מהר. ובמחירים שהוא לא יכול לעמוד בהם.