צאט AI | מודל שפה!
-
@nigun כתב בצאט AI | מודל שפה!:
ואולי אין מה לומר על איך זה יכול להיעשות מעבר ל"איכשהו זה קורה כשיש לך 175 מיליארד משקלים נטו עצביים". אבל אני חושד מאוד שיש סיפור הרבה יותר פשוט וחזק.
זה בקיצור הטענה שלי...
הוא גם טוען שמעבר להסתברות יש תוספת של היגיון שהוא לא יודע להסביר אבל היא קימת -
@one1010 כתב בצאט AI | מודל שפה!:
@nigun כתב בצאט AI | מודל שפה!:
ואולי אין מה לומר על איך זה יכול להיעשות מעבר ל"איכשהו זה קורה כשיש לך 175 מיליארד משקלים נטו עצביים". אבל אני חושד מאוד שיש סיפור הרבה יותר פשוט וחזק.
זה בקיצור הטענה שלי...
הוא גם טוען שמעבר להסתברות יש תוספת של היגיון שהוא לא יודע להסביר אבל היא קימתהוא אומר שכשאתה מחשב הסתברות ע"פ 175B נוצר כאן הגיון שאנחנו לא יכולים להבין, אבל המודל נשאר אותו דבר כמו המודל של 100K פרמטרים, הוא מחשב באותה שיטת הסתברות.
ולכן אי אפשר לצפות שיעשה פעולות שדורשות חשיבה מסוג של בני אדם כמו לספור תווים או לעשות פעולה חשבונית מסובכת. -
-
@one1010 כתב בצאט AI | מודל שפה!:
@nigun כתב בצאט AI | מודל שפה!:
נוצר כאן הגיון שאנחנו לא יכולים להבין,
על זה אני מדבר...
מודל של 100K לא היה יוצר את ההיגיון הזה ורק במודל גדול יותר נוצר היגיון שא"א להסביר... אז גם א"א לסתור כל הסבר...אבל השיטה אותה שיטה, לחשב בהסתברות מה המילה הבאה.
ולכן אי אפשר לספור תווים, כי ההסתברות שהמילה הבאה אחרי המשפט "כמה מילים יש במסמך הזה?" היא 100 דומה מאוד להסתברות שהמיל הבאה היא 101.
למודל אין "שכל" ללכת ו"לספור" את המילים הוא סך הכל מנסה לנחש את המילה הבאה.
(אפשר לחבר אותו לתוכנה שיודעת לספור ואז בהסתברות גבוהה הוא יכתוב "הפעל תוכנה X" ואז התוכנה תופעל ע"י המחשב שמריץ את המודל, אבל המודל נשאר אותו מודל שיודע רק לחשב מה מסתבר שיהיה המילה הבאה) -
@nigun כתב בצאט AI | מודל שפה!:
אבל השיטה אותה שיטה, לחשב בהסתברות מה המילה הבאה.
אם השיטה היא אותה שיטה התוצאות חייבות להיות שוות.
אז זה נכון שבבסיס הוא מושתת על אותו ההליך אבל הוא חייב להשתנות באמצע וכפי שכבר כתבו שבשלב מסויים הוא רוכש היגיון לא מוסבר.
כבר כתבו שהבינה היא קופסה שחורה לא מובנת, לכן נשמע לי קצת מגוחך שאנחנו מתווכחים מה היא... -
@one1010 כתב בצאט AI | מודל שפה!:
אם השיטה היא אותה שיטה התוצאות חייבות להיות שוות.
אז זה נכון שבבסיס הוא מושתת על אותו ההליך אבל הוא חייב להשתנות באמצע וכפי שכבר כתבו שבשלב מסויים הוא רוכש היגיון לא מוסבר.ההגיון הוא שיש משהו מבני בשפת של בני אדם וניתן לחשב מה המשפט הנכון לומר ע"פ הסתברות, מה שעדיין נחשב קופסה שחורה היא איך נוצרים מבנים כאלו שיוצרים מודל כזה חכם, אבל מה שברור הוא שלא ניתן לצפות ממנו לספור תווים כי עם כל הכבוד למבנה שיש בשפת של בני אדם הוא לא "קרא" מספיק טקסט שבו כתוב "במסמך זה יש 300 מילים ו1650 תווים" כדי שייוצר המבנה הזה במודל ההסתברותי וגם אם הוא יאומן על ספירת מילים הוא לא ידע לענות על שאלות בחשבון כי כשמנסים לחשב מה המילה הבאה בהסתברות קשה לענות על שאלות מורכבות בחשבון (וגם אם היה נוצר מבנה שהיה מצליח לענות על שאלות בחשבון זה לא יעיל ועדיף לפתור את זה בדרך הטובה והישנה והמדוייקת)
-
O one1010 התייחס לנושא זה ב
-
@nigun כתב בצאט AI | מודל שפה!:
ולכן אי אפשר לצפות שיעשה פעולות שדורשות חשיבה מסוג של בני אדם כמו לספור תווים או לעשות פעולה חשבונית מסובכת.
האם ההתקדמות הבאה סותרת את הדברים שכתבת? :
"עכשיו גוגל כבר פותרת לכם תרגילים במתמטיקה, פיזיקה וגיאומטריה"
https://www.geektime.co.il/google-search-in-lens-can-now-help-with-math-and-science-problems/ -
@one1010 כתב בצאט AI | מודל שפה!:
@nigun כתב בצאט AI | מודל שפה!:
ולכן אי אפשר לצפות שיעשה פעולות שדורשות חשיבה מסוג של בני אדם כמו לספור תווים או לעשות פעולה חשבונית מסובכת.
האם ההתקדמות הבאה סותרת את הדברים שכתבת? :
"עכשיו גוגל כבר פותרת לכם תרגילים במתמטיקה, פיזיקה וגיאומטריה"
https://www.geektime.co.il/google-search-in-lens-can-now-help-with-math-and-science-problems/היום רוב המודלים המשוכללים משלבים כמה מודלים ביחד וכדו'
למשל בבינג אפשר לבקש תמונה והוא מפנה את הפרומפט ליצירת תמונה עם המודל של DELL-E או מבצע חיפוש במנוע החיפוש הרגיל של בינג.
סביר להניח שגוגל עשו משהו דומה ושילבו מחשבון רגיל והמודל מאמון להפעיל את המחשבון ולא לנסות לפתור את התרגיל לבד.
לא ידוע על לי על תאוריה מדעית איך LLM יצליח לפתור תרגילים מתמטיים בלי עזרה של מחשבון קונבנציונלי חיצוני. -
@nigun כתב בצאט AI | מודל שפה!:
סביר להניח שגוגל עשו משהו דומה ושילבו מחשבון רגיל והמודל מאמון להפעיל את המחשבון ולא לנסות לפתור את התרגיל לבד.
לא ידוע על לי על תאוריה מדעית איך LLM יצליח לפתור תרגילים מתמטיים בלי עזרה של מחשבון קונבנציונלי חיצוני.סביר להניח שאתה לא צודק. פתרון של תרגילים מתמטיים היא יכולות מוכרת בכל מודלי השפה למיניהם, מי יותר ומי פחות. גם ב-gpt כמובן.
ככלל, אתה צודק שהוא מתקשה בפתרון בעיות מתמטיות, אבל הוא בודאי לא נטול יכולת בנושא.
מידע נוסף:
-
-
-
-
@חגי כתב בצאט AI | מודל שפה!:
@nigun
Mathematica קיים כבר הרבה שנים (מ-1988) וזה פותר משוואות מתמטיות מורכבות ללא עזרה מAI.
כנראה שהחיפוש של גוגל משתמש במשהו דומה, לא צריך בשביל זה LLM.לWolfram אין שפה טבעית עשירה כל כך
-
מישהו אימן מודל מיוחד לפתרון בעיות מתמטיות ונראה שהוא יותר חכם מהמודלים האחרים אבל כמובן עדיין טועה לפעמים (בשונה ממחשבון)
https://arxiv.org/abs/2310.10631
https://llemma-demo.github.io -
@nigun כתב בצאט AI | מודל שפה!:
מישהו אימן מודל מיוחד לפתרון בעיות מתמטיות ונראה שהוא יותר חכם מהמודלים האחרים אבל כמובן עדיין טועה לפעמים (בשונה ממחשבון)
https://arxiv.org/abs/2310.10631
https://llemma-demo.github.ioכדי לאמן לא צריך הרבה כח עיבוד=כסף?
כי א"כ מה מניע אנשים להשקיע כסף במה שהם לא הולכים להרוויח ממנו? -
@one1010 כתב בצאט AI | מודל שפה!:
כי א"כ מה מניע אנשים להשקיע כסף במה שהם לא הולכים להרוויח ממנו?
זה עמותה בשיתוף כמה אוניברסיטאות
https://en.wikipedia.org/wiki/EleutherAI
,