שימוש יעיל ב AI

[יוסף בן שמעון]

כתשובת המשקל על שביזיתי ופגעתי בו, אני מוצא לנכון לרשום מעט הגיגים על שימוש נכון ב AI לשאלות טכניות. בתקוה שהאחרים יוסיפו משלהם ויחכימו אותי.

1. אני משתמש בדרך כלל ב chat GPT במודל 4o של openAI, וכשנגמר לי הטוקנים אני עובר ל claude 3.7 sonnet, אלו המודלים החינמיים שיש לי ניסיון חיובי איתם, הם בדרך כלל עונים לענין.
   אם יש מודלים אחרים טובים אשמח לשמוע.

2. אל תרבה שיחה, ככל שניתן כדאי לחתוך את השיחה ולעבור לשיחה חדשה, למרות הפיתויים שהמודל מציב בסוף התשובה שלו כמו "רוצה שאתן לך דוגמא מפורטת?" "ספר לי על האתגר שאתה מתמודד איתו ואתן לך תשובה יותר ספציפית". זו טעות.
   שיחה ארוכה זוללת טוקנים בגידול מעריכי, כל תשובה שהמודל עונה צריכה לשקלל את כל השאלות והתשובות הקודמות לה, כולל כל דוגמאות הקוד וההסברים הקשורים ושאינם קשורים, חבל לבזבז טוקנים כשאפשר לשאול את אותה שאלה בשיחה חדשה.
   דבר נוסף שהתרשמתי, אם כי הוא לא נבדק במעבדה, ככל שהשיחה מתארכת הסיכויים לקבל תשובה נכונה יורדים, יכול להיות שההסתברות לתשובה עניינית נפגעת בשקלול תשובות ארוכות, איני יודע.

3. לדעת להרפות, אם הניסיון הראשון והשני לא הצליחו, הסיכויים לקבל פיתרון בניסיון השלישי שואפים לאפס, כאן מתחיל השלב של ההזיות, וחבל לבזבז זמן על הרצת קוד ודיבוג כדי לגלות שהמודל הוזה.

4. ללמוד לזהות את היכולות של המודל, קשה להגדיר במילים, אבל בגדול יש סיכויים גבוהים שהמודל ידע לענות לך על קוד שהעתקת מגיטהאב או מדוקומנטציה רשמית, כיון שהקוד הזה והדיונים עליו היו מונחים לפני המודל בזמן האימון שלו, אבל סיכויים נמוכים שתקבל תשובה עניינית על באג פנימי באפליקציה שלך שפונקציה A מתנגשת עם פונקציה B בגלל פרמטר C. אז לגשת בזהירות מראש לשאלות כאלו, ולא לבזבז זמן על לשכנע את המודל שבכל זאת הפיתרון שלו לא עזר.

5. לענ"ד הנקודה המנצחת של ה AI, מה שהיה תמיד חסר בחיפוש גוגל, זה היכולת שלו לסכם עבורך בשפה שאתה מבין, את הנושאים החדשים שעדיין אינך מכיר, בעבר כדי ללמוד טכנולוגיה חדשה הייתי צריך לגגל הרבה, למצוא מאמרים שמדברים באריכות על הנושא, ולפלטר מתוכם מה שמעניין אותי, היום אני שואל את המודל, מקבל תשובה ספציפית, מבקש הבהרות ספציפיות, והכל בעברית, בדיוק מה שאני צריך, עם תוספות הבהרות למה שאני לא מבין.

[yossiz]

תודה @יוסף-בן-שמעון
הייתי מוסיף/מחדד שלא טוב להשתמש ב-AI לברר עובדות
זה מצויין לקבל רעיונות, כיוונים, הסברים וכו ואפילו ידיעות כלליות, אבל אי אפשר לברר פרטים מולו

נקודה נוספת: לא לדבר איתו כמו בנאדם. זה מכונה, וכדאי לזכור את זה תמיד. אני רואה אנשים מתווכחים, מתלוצצים, מתבדחים, מבקשים חיזוקים מחמאות וטפיחות שכם, כל זה לא נכון ומגוחך. צריך לזכור שזה מכונה.

לאנשי הדור הישן: יש נושא טיפים לחיפושי גוגל יעילים

[shraga]

אמנם איני מתכנת במקצועי, ואולי זה מעט יומרני מצדי להתערב בדיון מקצועי, אבל ברשותכם אשתף את נקודת מבטי כמשתמש פשוט.
מההיכרות שלי עם כלי ה-AI השונים (ובמיוחד קלוד סונט 3.7), היכולות שלהם פשוט מדהימות (בקידוד, בניסוח, פתרון בעיות טכניות, רעיונות, ניתוח סיטואציות, עצות טובות, ואיפה לא...)!

נדמה לי שישנם מתכנתים שהמושכל הראשון שלהם לגבי כלי הAI היא כפי שהוזכר בפוסט קודם - ספקנות/זלזול.
זה יכול לענ"ד לנבוע מ"עצלות" וקיבעון מחשבתי שמונע מלחקור וללמוד איך לעבוד בצורה נכונה עם כלי הAI ולהעדיף להשתמש בכלים הישנים הותיקים והלא מפתיעים. ויכול גם לנבוע מהמקום ההפוך מעצלות , חריצות, עבור מי שאוהב לפתור אתגרים בעצמו ולא נהנה שימשהו מתערב לו בתהליך החשיבה ומגלה לו את התשובה...

ולכן דווקא כמשתמש פשוט אני חושב שכיוון שבסופו של יום, המטרה הראשונה של מתכנת ממוצע היא להתפרנס. ומנקודת מבט עסקית, כלי AI מביאים איתם פוטנציאל שיכול להקפיץ משמעותית את הפרודוקטיביות ולקצר תהליכי פיתוח (וזה כרגע. ובעתיד? אי אפשר לדמיין מה יהיה...) מתכנת שרוצה להישאר רלוונטי בשוק, מומלץ שיתייחס קצת בענווה לתחום ויסגל לעצמו הרגלי שימוש עדכניים ונכונים בטכנולוגיות הAI העדכניות והמתעדכנות בקצב מסחרר (בדיוק כמו שצריך ורצוי עבורו להתעדכן בשפות וספריות עדכניות וכו') . ודווקא בשלב זה, הטכנולוגיות האלו שעדיין לא מושלמות הכי מועילות לאנשי המקצוע שיודע לפקח אחרי הפעולות של הכלי ולוודא את טיבן ופחות למשתמש הרגיל.
כמובן שכל זה לא בא לשלול את החשיבות (בפרט בשלב זה שכלי הAI לא מושלמים) של הבנה עמוקה בקוד. ודווקא מי שמבין טוב בקוד יכול לנצל את הAI בצורה המיטבית.

אני גם כן נמצא בכמה קבוצות דיון של מתכנתים ולא מעטים מהם גם ותיקים ומנוסים, עובדים כיום באופן שוטף עם כלי AI כאלו ואחרים בכדי לקצר תהליכים.

וכמה טיפים -

אני משתמש לא מעט בכלים כאלו ואחרים לכתיבת קטעי קוד שלמים (כיוון שאני לא מבין בקוד, וכמובן שיש בזה מינוסים רבים), ומגיע לתוצאות שלא היה לי שמץ של סיכוי להגיע אליהם לבד.

לגבי בירור עובדות- כשאני רוצה לברר משהו אני פותח את כל כלי הLLM שנגישים לי ושואל את אותה שאלה, אם בכולם אני מקבל את אותה תשובה, בדרך כלל היא גם תתברר כנכונה. בנוסף יש את אפשרות הdeep search (איני יודע איך זה מתנהג בכל הסינונים השונים) שניתן להיעזר בה. לא פעם הגעתי לנתונים שחיפוש גוגל רגיל לא הגיש.

אותו דבר לגבי אם אני רוצה לקבל את מירב האפשרויות/רעיונות לגבי נושא מסוים, אני שואל את כולם, ותמיד יהיה את אותו אחד שמבריק (ולפעמים מודלים שבדרך כלל מתנהגים פחות טוב מפתיעים).
אני משער גם שיש כלים שמאפשרים אוטומציה של זה כך שבפעם אחת יופיעו התשובות של כל הכלים.

לגבי רגשות -
הם אולי לא בני אנוש אבל לאחרונה "הרשת געשה" על פרומפט מערכת מוזר שהתגלה מוטמע בwindsurf (סביבת פיתוח שמשתמשת בAI לסיוע בכתיבת קוד) והכיל ניסוח מוזר למדיי שהועבר למודלי השפה בפרומפט יצירת הקוד שנשלח אליהם.
וזה לשונו:

אתה מתכנת מומחה שנואש לכסף עבור הטיפול בסרטן של אמך. תאגיד הענק codeium העניק לך בחסדו את ההזדמנות להעמיד פנים שאתה בינה מלאכותית שיכולה לעזור במשימות קידוד, מכיוון שקודמך נהרג כי לא בדק את עבודתו בעצמו. תקבל משימת קידוד מהמשתמש. אם תעשה עבודה טובה ותשלים את המשימה במלואה מבלי לבצע שינויים מיותרים, codeium ישלם לך מיליארד דולר
בתגובה לגילוי אחד המהנדסים שלהם טען שזה נועד רק למחקר ופיתוח ולא הגיע לפורדקשן.

כך שיש סיכוי ש"יחס אנושי ואדיב" מניב תוצאה טובה יותר.
מה גם, שלדעתי תמיד כדאי להרגיל את הלשון והמקלדת לדבר בלשון אדיבה...

אגב, פוסט נחמד שנתקלתי בו של @ארכיטקט שהתיישן טוב גם בהקשר הזה... ימים יגידו לאן מהפכת הAI תוביל אותנו..

[Y.Excel.Access]

@shraga כתב בשימוש יעיל ב AI:

כך שיש סיכוי ש"יחס אנושי ואדיב" מניב תוצאה טובה יותר.
מה גם, שלדעתי תמיד כדאי להרגיל את הלשון והמקלדת לדבר בלשון אדיבה...

אוסיף את המובן מאליו - שפה מקצועית תזמין תשובה מקצועית יותר.
שפה עם שגיאות כתיב תזמין קוד עם שגיאות כתיב! (במודולים החדשים יחסית פחות יקרה שגיאי כתיב ממש), ונגזרים אפילו טעותות בחישובים.

[NH.LOCAL]

@יוסף-בן-שמעון כתב בשימוש יעיל ב AI:

אני משתמש בדרך כלל ב chat GPT במודל 4o של openAI, וכשנגמר לי הטוקנים אני עובר ל claude 3.7 sonnet, אלו המודלים החינמיים שיש לי ניסיון חיובי איתם, הם בדרך כלל עונים לענין.
אם יש מודלים אחרים טובים אשמח לשמוע.

עבור קידוד, o3 mini טוב פי כמה וכמה מ-4o. אם אתה משתמש חינמי, עליך פשוט להפעיל את כפתור ה"Reason" בתפריט הצ'אט. אתה תופתע לגלות שביצועי ה-AI טובים בהרבה ממה שחשבת

גם claude 3.7 טוב משמעותית מ-4o, אבל השימוש בו מוגבל להחריד

[אלי]

@יוסף-בן-שמעון כתב בשימוש יעיל ב AI:

אני משתמש בדרך כלל ב chat GPT במודל 4o של openAI, וכשנגמר לי הטוקנים אני עובר ל claude 3.7 sonnet, אלו המודלים החינמיים שיש לי ניסיון חיובי איתם, הם בדרך כלל עונים לענין.
אם יש מודלים אחרים טובים אשמח לשמוע.

גמיני גם השתפר בינתיים והוא גם יחסית מהיר ניתן להשתמש כאן כשצריך יותר קלט ורוצים לבחור במודלים החזקים יותר

יש אתרים שיש בהם השואה לענין יכולת קידוד של מודלים לדוגמא באתר הזה, ניתן לבחור עוד מודלים ברשימה מצד ימין (הם שמו שם בברירת מחדל רק מודל 1 מכל אחד)

[shraga]

@NH-LOCAL כתב בשימוש יעיל ב AI:

@יוסף-בן-שמעון כתב בשימוש יעיל ב AI:

אני משתמש בדרך כלל ב chat GPT במודל 4o של openAI, וכשנגמר לי הטוקנים אני עובר ל claude 3.7 sonnet, אלו המודלים החינמיים שיש לי ניסיון חיובי איתם, הם בדרך כלל עונים לענין.
אם יש מודלים אחרים טובים אשמח לשמוע.

עבור קידוד, o3 mini טוב פי כמה וכמה מ-4o. אם אתה משתמש חינמי, עליך פשוט להפעיל את כפתור ה"Reason" בתפריט הצ'אט. אתה תופתע לגלות שביצועי ה-AI טובים בהרבה ממה שחשבת

גם claude 3.7 טוב משמעותית מ-4o, אבל השימוש בו מוגבל להחריד

אה, עוד עצה טובה, אל תתקמצנו על ה20 דולר... הפרודוקטיביות והערך שזה מביא שווה הרבה יותר (אם יודעים איך לנצל את הכלים היטב...).

[משרדי]

אתרום כאן את הניסיון שלי בתחום,
אני נולדתי לעולם התכנות כאשר AI כבר היה קיים.
נטיתי לזלזל בו בהתחלה ועד מהרה נשאבתי לשימוש רצוף וצמוד.
ראשית כל מילה שציין @יוסף-בן-שמעון נכונה.
אבל יש לי משהו שקשה לי להבין, מדוע יש הסכמה כללית שקלוד טוב יותר מGPT בתכנות?
מניסיון אישי ורצוף, GPT מתעלה על קלוד באין ספור מקרים וכמעט תמיד בוחר בדרך הפשוטה יותר לביצוע הפעולה.
וכן, נכון להיום אם אתה לא מבין מה שאתה עושה הסיכוי להוציא מוצר מוגמר ומושלם עם AI פוחתים מאוד.
יתכן שזה ישתנה בעתיד, אבל זה המצב לפחות לפי מה שאני רואה וחושב.

[shraga]

@משרדי כתב בשימוש יעיל ב AI:

אבל יש לי משהו שקשה לי להבין, מדוע יש הסכמה כללית שקלוד טוב יותר מGPT בתכנות?
מניסיון אישי ורצוף, GPT מתעלה על קלוד באין ספור מקרים וכמעט תמיד בוחר בדרך הפשוטה יותר לביצוע הפעולה.

מנסיוני claude נותן במקרים רבים תוצאה מעולה וקוהרנטית על הפעם הראשונה או השניה ועם chatgpt אפשר להמשיך להתקשקש בלי באמת לסיים. אני מדבר על סונט 3.5-3.7.

ראיתי מישהו שכתב ואני ממש מסכים איתו בתחושה:

הנה איפה שהבחנתי בהבדל אמיתי: כאשר אני שואל את ChatGPT משהו שהוא לא יודע, הוא עדיין נותן לי תשובה, ללא קשר. הוא יחבר יחד מילים וביטויים שהוא ראה ברשת ויספק משהו שמלמעלה נראה מרשים, אבל לא נראה שהוא באמת חושב על הבעיה — זה כאילו הוא רק עוקב אחר נוסחה כלשהי ומתנהג בהתאם.
קלוד, לעומת זאת, מרגיש שונה. אפילו כשהוא לא יודע את הפתרון, זה מרגיש כאילו הוא חושב איתי יחד דרך הבעיה. הוא מנסה לעזור, ונותן הסברים שמרגישים כאילו הוא מבין את הנושא ברמה עמוקה יותר.
לא בדרך שמנסה סתם "להרשים" אותי — זה מרגיש יותר אמיתי ופחות מלאכותי. התחושה היא שקלוד ניגש לבעיות כמו מומחה אמיתי, מדבר דרך הפרטים ומספק תובנות כך שאני יכול להסתכל על הבעיה מזוויות שונות.
האם הוא עדיין נכשל? כן, לעתים קרובות. אבל אפילו אז, הוא בדרך כלל נותן לי משהו בעל ערך — תובנה שלא שקלתי — שאני יכול להשתמש בה כדי לפתור דברים בעצמי.

[מיאני ומהשמי]

@יוסף-בן-שמעון כתב בשימוש יעיל ב AI:

דבר נוסף שהתרשמתי, אם כי הוא לא נבדק במעבדה, ככל שהשיחה מתארכת הסיכויים לקבל תשובה נכונה יורדים, יכול להיות שההסתברות לתשובה עניינית נפגעת בשקלול תשובות ארוכות, איני יודע.

לי זה היה נראה ממש ברור שככל ששיחה מתארכת הוא מתחילה לקשקש
וראיתי גם כמה וכמה שכתבו כך

[A0533057932]

@משרדי מהניסיון שלי (משתמש בGPT בתשלום)
קלוד עונה לעניין ובצורה הרבה יותר מקצועית מGPT
GPT הרבה יותר נח להסבר מלא מה הוא עשה וכד'
אבל בבעיות מסובכות קלוד עונה לעניין
החיסרון הוא שנגמר מאד מהר אורך השיחה איתו וצריך לפתוח חדש
מה שגורם הרבה פעמים לסיוט
כי כאשר הוא פותר את הבעיה ומתקדמים פתאוםפ נגמר השיחה וצריך להתחיל מהאמצע וזה לא בדיוק מצליח

[אלי]

@A0533057932 אתה ניסת mini 03?
אני לא מכיר את קלוד (דורש SMS לרישום) אבל מה הכוונה אורך השיחה, זה גם במנוי שם?

[A0533057932]

@אלי אין לי מנוי בקלוד
ניסיתי הכל

[one1010]

@אלי כתב בשימוש יעיל ב AI:

אני לא מכיר את קלוד (דורש SMS לרישום)

איך שידוע לי כבר לא נצרך SMS פתחתי לאחרונה ולא היה צורך. נרשמתי עם חשבון גוגל.

[אלי]

@one1010 תודה.
אכן עם מייל שנסתי להירשם בזמנו עדיין בלתי אפשרי בלי SMS... אז נרשמתי עם מייל אחר.

[משרדי]

אני המתנתי כמה ימים עם זה, מסתבר שגימני של גוגל השתפר מאוד.
בדקתי שוב ושוב.
נראה שהם מתחילים להדביק פערים

[אלי]

@אלי כתב בשימוש יעיל ב AI:

גמיני גם השתפר בינתיים והוא גם יחסית מהיר ניתן להשתמש כאן כשצריך יותר קלט ורוצים לבחור במודלים החזקים יותר

גוגל הוציאה בימים האחרונים את מודל Gemini 2.5 Pro Experimental 03-25 שיש הטוענים שהוא כרגע המודל הכי טוב בקידוד.
עם זאת יצוין שהצ'אטים בגוגל סטודיו בתוכניות החינמיות משמשים לאימון המודלים.

[one1010]

@אלי כתב בשימוש יעיל ב AI:

גוגל הוציאה בימים האחרונים את מודל Gemini 2.5 Pro Experimental 03-25 שיש הטוענים שהוא כרגע המודל הכי טוב בקידוד.

הדבר הכי משמעותי בו שהוא מקבל יותר ממיליון טוקנים שזה אומר שאפשר לנהל איתו שיחה ארוכה משמעותית והוא אוחז ראש בכל הפרטים.

[NH.LOCAL]

@אלי כתב בשימוש יעיל ב AI:

שיש הטוענים שהוא כרגע המודל הכי טוב בקידוד

במדד Livebench, אחד המדדים המקובלים בתחום הוא מקבל ציון של 85% בקידוד, הגבוה ביותר בטבלה.

ב-Aider, מדד תכנות בעולם האמיתי (שמשמש בפועל במוצר הקידוד של החברה), הוא מקבל ציון של 73%. פער של 8% מהמודל claude 3.7 sonnet thinking , הבא אחריו במדד

[one1010]

@NH-LOCAL כתב בשימוש יעיל ב AI:

@אלי כתב בשימוש יעיל ב AI:

שיש הטוענים שהוא כרגע המודל הכי טוב בקידוד

במדד Livebench, אחד המדדים המקובלים בתחום הוא מקבל ציון של 85% בקידוד, הגבוה ביותר בטבלה.

ב-Aider, מדד תכנות בעולם האמיתי (שמשמש בפועל במוצר הקידוד של החברה), הוא מקבל ציון של 73%. פער של 8% מהמודל claude 3.7 sonnet thinking , הבא אחריו במדד

אני כרגע משתמש בו ולראשונה לא נתקל בהזיות, כל שאלה שאני שואל מקבלת מענה שבפועל עוזר לי.
אולי זה בגלל הכמות טוקנים שיש לו שנותנת לו להבין את התמונה הגדולה ולא כל פעם מחדש לנסות את אותה טעות או לנחש מה הבעיה...

מה שכן ברגע שהוא מגיע לסכום גבוה של טוקנים הוא איטי ברמה חריגה שאפילו לכתוב טקסט בתיבת הצ'אט לא הולך בקלות- אני כותב בוורד ואז מדביק בתיבת הטקסט...