GPT-4 כישוריו בהמצאת תשובות
-
@one1010 נראה לי לפום ריהטא שזו בעיה קשה מאוד. לכאורה צריך תודעה עצמית כדי להצליח למדוד רמת הבטחון שיש לך בידע. צריך לזכור שהידע שהלעיטו את המודל לא קיים במודל בתור ידע אלא בתור רשת נוירונים. אי אפשר להורות למודל להסתכל פנימה לתוך עצמו ולהעריך אם הידע נכון
למעשה אפשר בפשטות לתת למודל אפשרות לגשת למקור הידע, דפי אינטרנט, ספרים וכו' בזמן אמת וכך לאמת את התשובה. אבל כרגע זה לא ככה בצ'אט GPT
-
@yossiz כתב בGPT-4 כישוריו בהמצאת תשובות:
@one1010 נראה לי לפום ריהטא שזו בעיה קשה מאוד. לכאורה צריך תודעה עצמית כדי להצליח למדוד רמת הבטחון שיש לך בידע. צריך לזכור שהידע שהלעיטו את המודל לא קיים במודל בתור ידע אלא בתור רשת נוירונים. אי אפשר להורות למודל להסתכל פנימה לתוך עצמו ולהעריך אם הידע נכון
למה כ"כ מוסבך? פשוט להגדיר שגם את המידע שהמשתמש נותן לבדוק מול מאגר המידע ולא רק את התשובה לקחת ממאגר המידע.
למעשה אפשר בפשטות לתת למודל אפשרות לגשת למקור הידע, דפי אינטרנט, ספרים וכו' בזמן אמת וכך לאמת את התשובה. אבל כרגע זה לא ככה בצ'אט GPT
בבינג החדש אין לו בזמן אמת את המידע?
אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש -
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
למה כ"כ מוסבך? פשוט להגדיר שגם את המידע שהמשתמש נותן לבדוק מול מאגר המידע ולא רק את התשובה לקחת ממאגר המידע.
הוא לא מחזיק את מאגר המידע, הוא מחזיק קובץ שנועד לשמש אותו לתשובות החומר גלם שיצרו ממנו את הקובץ הזה, זה המידע.
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
בבינג החדש אין לו בזמן אמת את המידע?
אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדשזה מגיע לנקודה שאין מידע שזה לא כך, אז המודל שפה מתבלבל.
-
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש
אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך. -
@ארי כתב בGPT-4 כישוריו בהמצאת תשובות:
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש
אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך.וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך
-
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
@ארי כתב בGPT-4 כישוריו בהמצאת תשובות:
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש
אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך.וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך
במודלי שפה כיום אין מנגנון של בדיקת עובדות.
זה סך הכל מודל שחוזה בהסתברות מה המילה הבאה.
הוא לא "מבין" מה הוא כותב. -
היות והדיון נהפך לפילוסופי
אתן זוית נוספת לענייןהמנהג הוא לחפש אותו בשגיאות
ולהציג עד כמה זה עדיין לא מספיק בשלמשום מה אני לא רואה בשום מקום התייחסות הפוכה
כמה הוא כן עוזרכמה מאתנו שנכשלו רחמנא ליצלן
וניסו בסתר לשאול אותו שאלה במקום את גוגל
וקבלו תשובה (מהירה?) ויעילה שהועילה בו במקוםהאם התחליף של חיפוש בגוגל
ושיטוט בין לינקים יותר טוב?
שם אין שטויות?מכירים את זה שהגיע ואמר: האמריקאים זה עם תמים ופתי
וההוכחה: קוראים לי יעקב, ושהגעתי לשם, אמרתי שקוראים לי שלמה - וכולם האמינו לי...זה שהוא עדיין ובעתיד יפלוט שטויות
שבדר"כ ניתן להבינם ולהפריכם די מהר
ניתן להתמודד
כשהוא מציין מחלקה שלא קיימת, אז נכשלת בהעתק-הדבק בודד (מתוך....), נו שויןכך שהשיח לכיוון החיובי
איך ניתן לתשאל אותו נכון
בכדי להגיע לתוצאות נכונות
יהיה יותר יעיל ואפקטיבי -
לא עברתי על כל מה שאמרו כאן ואני לא מומחה גדול בעניין אבל עלה לי רעיון שאולי בגלל שצורת הפעולה שלו היא "השלמה" של מה שהוא עצמו התחיל לומר אז לומר לו שיבדוק משהו שהוא עצמו עוד לא סיים לומר זה קצת מסובך ואם נבקש ממנו בסוף התשובה לבדוק את כל העובדות נצטרך לבדוק מה זאת עובדה ואיך לנסח בצורה בטוחה שאלה לגבי כל עובדה ולבדוק את אותה עובדה ואז לבדוק את הפלט של השאילתה לגבי אותה עובדה ובהנחה שכל זה עבר בשלום צריך עדיין לזכור שזה מעלה את צריכת המשאבים של המודל מאוד
אגב, בעקבות הפרק האחרון של עושים טכנולוגיה יצא לי לראות את הפוסט של סטיבן וולפראם כאן שבו הוא מסביר בצורה די מפורטת (אם כי יש קצת מתמטיקה וסטטיסטיקה מידי פעם) איך המודלים האלו עובדים, ממליץ בחום (תוודאו שיש לכם כמה שעות פנויות לפני שאתם מתחילים, הוא ארוך בצורה לא נורמלית)
-
@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:
וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך
אני הבנתי שאתה מדבר על שטויות שהוא ממציא אבל הם יכולים להיות אמיתיים, כמו ספריות/פונקציות לא קיימות. על זה אמרתי שזו בעיה קשה
אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה
-
@yossiz כתב בGPT-4 כישוריו בהמצאת תשובות:
אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה
כן, על זה דיברתי
-
@yossiz כתב בGPT-4 כישוריו בהמצאת תשובות:
אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה
איך אפשר לבחון שאלה?
לשלוח פרומפט מיוחד ששואל האם השאלה מכילה תוכן שגוי?
-
-
@yossiz
אני לא ציפיתי למשהו יותר חכם.
זה סך הכל מודל שפה, ואין הרבה טקסט באינטרנט שמסביר שלחתול יש 4 רגליים (כי זה מובן מאליו)
ולכן כל מידע שלא כתוב עליו בטקסט עליו הוא אומן משהוא מפורש, אין לו מספיק הסתברות לומר שזה לא נכון.לגבי ספריות לא קיימות אפשר לחבר אותו לאינטרנט שיבדוק האם הספריה קיימת, אבל קוד שלא עובד זה קצת יותר מסובך, יחברו אותו לVM?
אם תשאל אותו האם הקוד הזה יעבוד, יתכן שהוא יענה שכן כי אין לו טקסט מפורש שמסביר שזה לא יעבוד בגלל X. -
-
@nigun כתב בGPT-4 כישוריו בהמצאת תשובות:
ואין הרבה טקסט באינטרנט שמסביר שלחתול יש 4 רגליים
עכשיו יש
@one1010 רק אני לא הבנתי מה הקשר בין זה שלחתול יש 4 רגליים למרובע?
@mekev אני לא אומר שהוא לא מועיל יותר מגוגל בהרבה מאוד פעמים, זה די ברור שזה העתיד של החיפוש ברשת.
אישית אני מעלה לו פעמים תיאור מפורט של בעיה שאני נתקל בה ומתקשה בה ובד"כ הפתרונות שהוא מציע הם הגיוניים, הבעיה היא, שכשהוא מבלבל במוח אז הוא עושה את זה עד הסוף..
-
@one1010
בשאלה ישירה הרבה יותר קל לו לענות.
כי לא נתת לו רמז מה התשובה הנכונה, ובכל הטקסט שהוא קרא יש טקסט על כך שיש לרוב החיות ארבע רגליים,
לכן הייתי מאוד מופתע אם היה עונה לך 3 או 5 רגליים כי יש לו אפס הסתברות לכתוב את זה, לעומת זאת כשאתה כותב לו שאלה מכשילה יש לו משקל גבוה לומר בטבעיות שיש לחתול 5 רגליים (משקל יותר גבוה מאשר המידע המעומעם בנושא באינטרנט) -
