GPT-4 כישוריו בהמצאת תשובות

[ארי]

@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:

אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש

אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך.

[one1010]

@ארי כתב בGPT-4 כישוריו בהמצאת תשובות:

@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:

אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש

אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך.

וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך

[nigun]

@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:

@ארי כתב בGPT-4 כישוריו בהמצאת תשובות:

@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:

אבל בלי קשר, זה שלכלב יש 4 רגליים ולא 5 זה כבר נמצא במדע הישן והוא לא צריך להתעדכן דווקא ממידע חדש

אולי זה מגיע מזה שלא על זה הייתה השאלה.
אם תשאל אותו כמה רגליים יש לכלב אני מניח שהוא יודע את התשובה, אבל אם זה חלק זניח מהשאלה הוא פשוט מכניס את הטקסט מהשאלה לתוך התשובה.
כנראה הם חושבים שכך זה יראה יותר אמין כשהוא מתייחס ישירות לשאלה שלך.

וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך

במודלי שפה כיום אין מנגנון של בדיקת עובדות.
זה סך הכל מודל שחוזה בהסתברות מה המילה הבאה.
הוא לא "מבין" מה הוא כותב.

[mekev]

היות והדיון נהפך לפילוסופי
אתן זוית נוספת לעניין

המנהג הוא לחפש אותו בשגיאות
ולהציג עד כמה זה עדיין לא מספיק בשל

משום מה אני לא רואה בשום מקום התייחסות הפוכה
כמה הוא כן עוזר

כמה מאתנו שנכשלו רחמנא ליצלן
וניסו בסתר לשאול אותו שאלה במקום את גוגל
וקבלו תשובה (מהירה?) ויעילה שהועילה בו במקום

האם התחליף של חיפוש בגוגל
ושיטוט בין לינקים יותר טוב?
שם אין שטויות?

מכירים את זה שהגיע ואמר: האמריקאים זה עם תמים ופתי
וההוכחה: קוראים לי יעקב, ושהגעתי לשם, אמרתי שקוראים לי שלמה - וכולם האמינו לי...

זה שהוא עדיין ובעתיד יפלוט שטויות
שבדר"כ ניתן להבינם ולהפריכם די מהר
ניתן להתמודד
כשהוא מציין מחלקה שלא קיימת, אז נכשלת בהעתק-הדבק בודד (מתוך....), נו שוין

כך שהשיח לכיוון החיובי
איך ניתן לתשאל אותו נכון
בכדי להגיע לתוצאות נכונות
יהיה יותר יעיל ואפקטיבי

[אף אחד 3]

לא עברתי על כל מה שאמרו כאן ואני לא מומחה גדול בעניין אבל עלה לי רעיון שאולי בגלל שצורת הפעולה שלו היא "השלמה" של מה שהוא עצמו התחיל לומר אז לומר לו שיבדוק משהו שהוא עצמו עוד לא סיים לומר זה קצת מסובך ואם נבקש ממנו בסוף התשובה לבדוק את כל העובדות נצטרך לבדוק מה זאת עובדה ואיך לנסח בצורה בטוחה שאלה לגבי כל עובדה ולבדוק את אותה עובדה ואז לבדוק את הפלט של השאילתה לגבי אותה עובדה ובהנחה שכל זה עבר בשלום צריך עדיין לזכור שזה מעלה את צריכת המשאבים של המודל מאוד

אגב, בעקבות הפרק האחרון של עושים טכנולוגיה יצא לי לראות את הפוסט של סטיבן וולפראם כאן שבו הוא מסביר בצורה די מפורטת (אם כי יש קצת מתמטיקה וסטטיסטיקה מידי פעם) איך המודלים האלו עובדים, ממליץ בחום (תוודאו שיש לכם כמה שעות פנויות לפני שאתם מתחילים, הוא ארוך בצורה לא נורמלית)

[nigun]

@mekev כתב בGPT-4 כישוריו בהמצאת תשובות:

המנהג הוא לחפש אותו בשגיאות
ולהציג עד כמה זה עדיין לא מספיק בשל

מחפשים אותו בשגיאות בשביל לראות מה היכולות שלו ולדעת מתי ואיך להשתמש בו.

[yossiz]

@one1010 כתב בGPT-4 כישוריו בהמצאת תשובות:

וזה בדיוק מה ששאלתי למה שלא יעשה בדיקת עובדות גם על השאלה בעצמה כדי למנוע גיחוך

אני הבנתי שאתה מדבר על שטויות שהוא ממציא אבל הם יכולים להיות אמיתיים, כמו ספריות/פונקציות לא קיימות. על זה אמרתי שזו בעיה קשה

אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה

[one1010]

@yossiz כתב בGPT-4 כישוריו בהמצאת תשובות:

אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה

כן, על זה דיברתי

[nigun]

@yossiz כתב בGPT-4 כישוריו בהמצאת תשובות:

אבל אם אתה מדבר על הדוגמה של @nigun שמדובר בטעות מוכחת שגם המודל תמיד עונה נכון שזו טעות, אני לא רואה סיבה שהם לא יכולים לתכנת אותו שקודם כל הוא יבקר את השאלה ואז ימשיך עם תשובה בהתאם לביקורת על השאלה

איך אפשר לבחון שאלה?
לשלוח פרומפט מיוחד ששואל האם השאלה מכילה תוכן שגוי?

[yossiz]

@nigun באמת מעניין, הייתי מצפה למשהו יותר חכם

גם אני ניסיתי (גירסה 3.5) והוא הצליח רק בקושי לעלות על טעותו, אחרי שנתתי לו רמז

[nigun]

@yossiz
אני לא ציפיתי למשהו יותר חכם.
זה סך הכל מודל שפה, ואין הרבה טקסט באינטרנט שמסביר שלחתול יש 4 רגליים (כי זה מובן מאליו)
ולכן כל מידע שלא כתוב עליו בטקסט עליו הוא אומן משהוא מפורש, אין לו מספיק הסתברות לומר שזה לא נכון.

לגבי ספריות לא קיימות אפשר לחבר אותו לאינטרנט שיבדוק האם הספריה קיימת, אבל קוד שלא עובד זה קצת יותר מסובך, יחברו אותו לVM?
אם תשאל אותו האם הקוד הזה יעבוד, יתכן שהוא יענה שכן כי אין לו טקסט מפורש שמסביר שזה לא יעבוד בגלל X.

[one1010]

@nigun כתב בGPT-4 כישוריו בהמצאת תשובות:

זה סך הכל מודל שפה, ואין הרבה טקסט באינטרנט שמסביר שלחתול יש 4 רגליים (כי זה מובן מאליו)

דווקא בראד של גוגל ידע לענות:

[אביי]

@nigun כתב בGPT-4 כישוריו בהמצאת תשובות:

ואין הרבה טקסט באינטרנט שמסביר שלחתול יש 4 רגליים

עכשיו יש

@one1010 רק אני לא הבנתי מה הקשר בין זה שלחתול יש 4 רגליים למרובע?

@mekev אני לא אומר שהוא לא מועיל יותר מגוגל בהרבה מאוד פעמים, זה די ברור שזה העתיד של החיפוש ברשת.

אישית אני מעלה לו פעמים תיאור מפורט של בעיה שאני נתקל בה ומתקשה בה ובד"כ הפתרונות שהוא מציע הם הגיוניים, הבעיה היא, שכשהוא מבלבל במוח אז הוא עושה את זה עד הסוף..

[one1010]

@אביי כתב בGPT-4 כישוריו בהמצאת תשובות:

@one1010 רק אני לא הבנתי מה הקשר בין זה שלחתול יש 4 רגליים למרובע?

זה תרגום ככה שיכול להיות שהבעיה בתרגום...
הנה המקור...:

[פלורידה]

המודל שלי הדיוט מושלם...

[nigun]

@one1010
בשאלה ישירה הרבה יותר קל לו לענות.
כי לא נתת לו רמז מה התשובה הנכונה, ובכל הטקסט שהוא קרא יש טקסט על כך שיש לרוב החיות ארבע רגליים,
לכן הייתי מאוד מופתע אם היה עונה לך 3 או 5 רגליים כי יש לו אפס הסתברות לכתוב את זה, לעומת זאת כשאתה כותב לו שאלה מכשילה יש לו משקל גבוה לומר בטבעיות שיש לחתול 5 רגליים (משקל יותר גבוה מאשר המידע המעומעם בנושא באינטרנט)

[one1010]

@nigun זה ברור, אבל זה היה מענה למי שטען לי שאין מידע על כך באינטרנט ולכן לא יעזור אם יכניסו מנגנון שבודק את חוקיות השאלה. ע"כ עניתי שמתסבר שיש על זה מידע באינטרנט

[nigun]

@one1010
בא נדייק אין מספיק מידע באינטרנט.

[יעקב מ. פינס]

וזה מה שאני קיבלתי

ההתנצלות בסוף יפה מאוד
וזה מוכיח שהוא יודע שלחתול יש רק ארבע רגליים

[יעקב מ. פינס]

וזה אחרי שהסברתי לו שלא יתכן שיהיה לחתול חמש רגליים