N
@אבי כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
מעניין אם אפשר להפוך אותו שיקלוט טקסט ויפלוט אותו בסגנון תנכ"י
"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"
כבר חשבתי על הרעיון, אבל בפועל מדובר במשימה שונה לגמרי והרבה יותר מסובכת מהמשימה שעבורה אומן המודל.
רק מודלי שפה גדולים יכולים להתמודד עם משימות שונות, מה שמכונה בינה מלאכותית כללית. (agi)
@one1010 כתב בצאט AI | מודל שפה!:
@nigun מכיוון שאני גם לא מומחה אז אין לי דרך לסתור אותך, אבל שים לב שהדוגמאות שהבאת הם דוגמאות שהסבירו לו את התשובה בדרך מסוימת וגרמו לו להבין אותה. זה לא קשור להסתברות למילה עוקבת.
זה גם לא מסביר איך הוא יכול להמציא הסבר גאוני [ורוב הפעמים גם לא נכון...] על כל תחום ועניין...
זה מה שצ'אט GPT כתב על ההסבר של @nigun :
נראה שההסבר שציטטת מנסה לתאר כיצד מודל שפה כמו GPT-3 עשוי לתפקד בביצוע ניחושים לוגיים או תחזיות על סמך דפוסים שהוא למד מנתוני אימון. עם זאת, יש כמה תפיסות שגויות ואי דיוקים בהסבר. להלן פירוט של הבעיות:
אימון חוזר ושינויים במבנה המודל: ההסבר מרמז שהמודל ממשיך לאמן את עצמו ולשנות את המבנה שלו אלפי פעמים עד שהוא מקבל תשובה ספציפית נכונה. במציאות, אימון מודל כרוך בתהליך אימון חד פעמי על מערך נתונים מסיבי, והמודל אינו משנה את המבנה שלו בכל פעם שהוא נתקל בנתונים חדשים.
הסבר מוגבל של כוונון עדין: ההסבר אינו מתייחס לתהליך הכוונון העדין שלאחר האימון הראשוני. כוונון עדין הוא ספציפי ליישומים בודדים ומחדד עוד יותר את התנהגות המודל בהתבסס על נתונים ויעדים צרים יותר.
הסבר לא מדויק של למידה: ההסבר מצביע על כך שה"ניחושים" של המודל הם תוצאה של ניסוי וטעייה במהלך כל מפגש עם טקסט חדש. עם זאת, GPT-3 לומד דפוסים ויחסים מהטקסט עליו הוכשר, והוא לא משנה באופן אקטיבי את המבנה שלו כדי לנחש נכון.
פישוט יתר של זיהוי דפוסים: בעוד ש-GPT-3 אכן מזהה דפוסים בשפה, הוא לא עובד בגישה של כוח גס של ניסיון שינויים שונים במבנה הפנימי שלו. הוא מייצר תגובות על סמך ההסתברויות של רצפי מילים שלמד במהלך האימון.
הנחה של "משהו" שנכנס למודל: ההסבר מתייחס ל"משהו" מסתורי שנכנס למודל כאשר נתקלים בטקסט חדש. במציאות, המודל אינו מאחסן מופעים נפרדים של טקסט במבנה שלו; הוא מייצר תגובות על סמך הדפוסים שלמדה ממערך נתונים מגוון.
אי הבנה של הבנת המודל: ההסבר מצביע על כך שלמודל יש איזושהי "הבנה" של מושגים כמו "כחול שמיים" או "צבעים". במציאות, המודל אינו מבין מושגים; הוא מנבא על סמך דפוסים.
תפיסה מוטעית לגבי שינויים ברשת עצבית: נראה שההסבר מצביע על כך שמבנה הרשת העצבית של המודל משתנה בתגובה לשאלות בודדות, וזה לא האופן שבו מודלים מאומנים מראש כמו GPT-3 עובדים. המבנה נשאר קבוע לאחר אימון ראשוני.
למעשה, למרות שההסבר עשוי להיות ניסיון להבין כיצד פועלים מודלים של GPT-3 או שפה דומות, הוא אינו משקף במדויק את התהליכים בפועל המעורבים בפעולות המודלים הללו. GPT-3 משתמש בתבניות והסתברויות נלמדות כדי ליצור טקסט קוהרנטי על סמך הקלט שהוא מקבל, אבל הוא לא משנה את המבנה שלו באופן אקטיבי או מעורב בתהליך הניסוי והטעייה המתואר.
@one1010 כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
כלומר? הוא מזהה את הסגנון? או שהוא עושה חיפוש?
אם אכתוב בסגנון תנכ"י הוא יגיד לי שזה מהתנ"ך?
כמובן שמזהה את הסגנון, ואין ספק שאם תכתוב בסגנון תנכ"י הוא יטעה. כל העניין הוא שמדובר ביכולת לזהות טקסטים חדשים שלא הוזנו לו מראש. לעשות חיפוש אפשר אפילו בפנקס רשימות, אין צורך ב-AI.
למעשה, המודל אומן על כ-550 פסוקים בלבד מתוך עשרות אלפי פסוקי התנ"ך
@shraga כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL מעניין לראות תיעוד של תהליך הבניה, ואולי של ההתכתבות עםchatgpt (יש אפשרות שיתוף).
בשמחה. אם כי הוא מבולגן יחסית, מכיון שמטבע הדברים זה דורש ניסוי וטעייה. ואחר כך שיפור של המודל המוכן וכן הלאה.
באופן כללי היו שתי שלבים שונים. שלב אחד של יצירת קוד יצירת המודל, ושלב נוסף של יצירת מערך הנתונים. למעשה, נעזרתי בצ'אט GPT לצורך יצירת עשרות מאות משפטים שונים ומשונים לאימון המודל. אציין שהקישורים המובאים כאן לא מלאים, מכיון שכל שרשור מלא בפיצולים וניסיונות חוזרים שלא מוצגים בשיתוף.
יצירת קוד פייתון עבור בניית מודל:
https://chat.openai.com/share/546f20ad-a034-4cd9-8047-b7a6bfb56733
יצירת טקסטים שונים ומשונים ועזרה בשינוי פורמט לטקסטים מהתנ"ך:
https://chat.openai.com/share/493e56c7-cf54-4781-b7d8-9c9a66413a82
ושלב אחרון - הוספת ציון של רמת הוודאות של התוצאה:
https://chat.openai.com/share/396ff5e0-a2de-491b-94a1-a22bd1563825
לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.
טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.
המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.
תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.
ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.
כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.
דוגמה:
קלט שלילי:
try_model.py "האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים"
פלט:
Text: האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112
קלט חיובי:
try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"
פלט:
Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000
קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible
@aaron כתב באיפה כדאי לשכור שרת חזק?:
אבל בתור התחלה הייתי ממליץ לנסות פתרונות מבוססי jupyter notebook, למשל https://colab.google/notebooks/
גוגל קולאב חסום בנטפרי. אפשר גם להשתמש בפעולות גיטהאב, אבל המעבד שעליו הוא רץ, די חלש באופן יחסי
@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@NH-LOCAL ומכאן גם החסרון הענק שלו. בנאדם חוץ מההבנה יש לו גם יידע ואחסון ענק אם לAI יש רק הבנה הוא יכול להמציא עובדות הגיוניות מאד אבל כלל לא נכונות כי הוא רק למד לחשוב בהיגיון מבלי יכולת לאמת אותה בכל תשובה.
בדיוק בשביל זה גם מיקרוסופט עם בינג וגם גוגל עם בארד, משלבים יכולות חיפוש באינטנרט עם מודל שפה.
עריכה: חשוב לציין, שבלמידת מכונה באופן כללי (לאו דוקא מודל שפה), כל הרעיון הוא לזהות מידע חדש, שעדיין לא קיים במודל. למשל, במודל שמזהה שמות של מקומות בתוך טקסט, הוא יכול לחשב מה נראה כמו שם של מקום לפי הסגנון. מה שחוסך את הצורך ליצור מאגר שלם עם רשימה של שמות מקומות, וגם עוזר למערכת לזהות שמות חדשים שלא היו קיימים במאגר ידני.
@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:
התחלתי לקרוא את המאמר שצירפו כאן אבל עדיין לא נראה לי שזה רק עניין של התסברות של המילה הבאה. כי מעבר להסתברות הוא מביא תשובות הגיוניות ומבין את השאלה.
ליתר דיוק - הסתברות של המילה הבאה בהתחשב למשפט שהזנת לו. (אני גם לא מבין מה זה בדיוק אומר, אבל כך זה עובד)
זה הרבה יותר עמוק מזה להבנתי
ככלל, העומק הגדול ביותר טמון לפעמים, דוקא בפשטות הגדולה ביותר
@nigun כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@EMG כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:
@NH-LOCAL וואו תודה רבה רבה !
סתם מעניין ניתן לפתוח את הקובץ של הערכים להוסיף או לערוך אותם וכו' ?אין קובץ ערכים
זה קובץ של "רשת נוירונים" שאף אחד לא יודע להסביר מה הולך בתוכו, כשהמודל מקבל משפט הוא מחשב ע"פ הקובץ הזה מה ההסתברות למילה הבאה.
כהמשך לדברים יש לציין, שבתוך הקובץ לא קיים תוכן של ממש למעשה. כי קובץ שעבר על כל האינטרנט אמור לשקול עשרות טרות, אבל למעשה הוא שוקל כמה עשרות ג'יגה. למעשה השיטה שלו היא זה לעבור על התוכן ולהתאמן עליו, ואז לפלוט אותו. כך שכעת הוא לא רק מעתיק את המידע מאיכנשהו, אלא "מבין" באיזו צורה הוא אמור להתנסח.
לדוגמה: מודל שמתאמן לזהות תמונה של חתול. מכניסים לו אלפי תמונות של חתולים, ולאחר שהוא מתאמן עליהם, הוא זורק את התמונות עצמם, וכעת הוא יזהה לבד מה זה חתול. ממש כמו שאדם יודע מה זה חתול, בלי לבדוק בראש ולהשוות עם תמונות אחרות של חתולים. הוא פשוט יודע.
@יעקב2 באתר neowin.net (סתם אתר מצוין באופן כללי), יש באופן קבע דילים, ובדגש על כונני SSD. זה אמור להופיע כאן:
https://www.neowin.net/deals/#tags
הנה מבצע לדוגמה, מלפני שבוע:
https://www.neowin.net/deals/uk-deals-save-big-on-samsung-portable-2tb-4tb-external-sdds-at-the-lowest-price-ever/
לפני תקופה הודלף מודל השפה Llama, מבית מטא כקוד פתוח והועלה לגיטהאב. מהרגע שהודלף פורסמו גרסאות רבות והפופולריות שלו בקרב מפתחים הלכה וגברה.
לפני מספר שבועות פורסם המודל החדש Llama2 של מטא בשיתוף מיקרוסופט, כקוד פתוח רשמי. בין השאר פורסם מודל עוצמתי עם 70 מיליארד פרמטרים (לעומת 170 ב-GPT), מה שמשנה את כללי המשחק בעולם מודלי השפה הגדולים (Large Language Model)
מדובר במודל ענק עם פונטציאל אדיר, אבל בפוסט הזה אביא דוקא מודל קטן יותר שמבוסס על המודל המקורי, שמתאים להרצה על כל מחשב (מעבד i3 עם 8 ג'יגה ראם ומעלה).
יש לציין שהמודל עובד ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. הוא נהדר גם למשימות כתיבת קוד, אבל זמין באנגלית בלבד.
כל מה שצריך לעשות זה להוריד את הקבצים הבאים:
** ניתן להוריד מתוך הרשימה של דגמים נוספים דומים, יש שם גם הסבר על ההבדלים בין המודלים - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml. Start Llama2.bat
לאחר מכן יש להוריד את קבצי "llama.cpp", שמריצים את מודל השפה. זהו קובץ קטן למדי.
המאגר מתעדכן כל כמה שעות, כך שכדאי פשוט להוריד את הקובץ החדש ביותר מתוך הרשימה הבאה. אני אישית בוחר בסוג הזה משום מה "llama-master-ee1b497-bin-win-avx-x64.zip", אך אודה ולא אבוש שאין לי מושג מה ההבדל בין הדגמים. כפי הנראה כולם אמורים לעבוד על ווינדוס.
לאחר מכן הורד את קובץ ההפעלה הבא:
Start Llama2.bat
חלץ את קובץ הזיפ לתיקיה והעתק לתוכו את שאר הקבצים שהורדת.
כעת, הפעל את קובץ הבאט המצורף - המודל יתחיל לפעול, כל שעליך לעשות זה להקליד תוכן כרצונך ולהקיש אנטר. (הוא עובד בעיקר באנגלית, בעברית הוא יותר גרוע מגרוע)
חשוב לשים לב: התאמתי את קובץ הבאט לכל דגם שהמשתמש יוריד, אך חשוב שבתוך התיקיה יהיה רק קובץ "bin" אחד!
ניתן לחפש מודלים נוספים באתר "huggingface", חלקם דורשים שליחת בקשת צפייה למטא. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)
@one1010 הנה התשובה של צ'אט בינג בנושא.
נראה שהוא מגיע לאותה המסקנה שהביא @טוב-להודות, כך שהיא נראית מהימנה. (אם כי אני מניח לעצמי שהמקור של הנ"ל לא ממש שונה - ואם אני טועה אז שאפו על ההשקעה...)
שים לב לכך שהוא גם לוקח בחשבון חישובים נוספים שעליהם לא חשבת...
שלום, זה בינג. אני יכול לעזור לך לחשב את מספר הצאצאים של מישהו שהתחתן בגיל 20 וילד כל שנתיים עד גיל 40. אבל אני צריך לעשות כמה הנחות.
ראשית, אני מניח שכל ילדי אב המשפחה חיים ומתחתנים בגיל 20. אני גם מניח שאין נישואי תערובת בין הדורות, כלומר אין אנשים שמתחתנים עם בני דודים או בני דודים שניים. אני גם מניח שאין שינוי בשיעור הפריון או במספר הילדים הממוצע למשפחה לאורך השנים.
על סמך הנחות אלו, אני יכול לחשב את מספר הצאצאים של אב המשפחה על ידי הוספת הדורות. למשל, בדור הראשון לאב המשפחה יש 10 ילדים. בדור השני לכל אחד מ-10 הילדים יש 10 ילדים, כך שיש 100 נכדים. בדור השלישי, לכל אחד מ-100 הנכדים יש 10 ילדים, כך שיש 1000 נינים. אני ממשיך בדרך זו לחשב את מספר הדורות שחלפו מאז התחתן אבי המשפחה.
בעבר נישאו בממוצע בגיל 20, אז אני מניח שעברו 4-5 דורות מאז שאבי המשפחה התחתן. בעתיד אנשים מתחתנים מאוחר יותר בממוצע, אז אני מניח שעברו 3-4 דורות מאז שאבי המשפחה התחתן.
אחרי שאני מחשב את מספר הדורות, אני מוסיף את מספר האנשים בכל דור למספר האנשים בדור הקודם. לדוגמה, בגיל 100, לאב המשפחה יש 10 ילדים, 100 נכדים, 1000 נינים, 10000 נינים ו-100000 נינים. לכן, יש לו 111110 צאצאים בגיל 100. בגיל 120 יש לו 11111110 צאצאים, כי הוא מוסיף עוד שני דורות של 10 ילדים כל אחד.
הנה הנוסחה לחישוב בה אני משתמש:
$$
\text{מספר צאצאים} = \sum_{i=0}^{n} 10^i
$$
כאשר n n הוא מספר הדורות שחלפו מאז התחתן אב המשפחה.
אני מקווה שעזרתי לך. אני לא בטוח שהחישוב הזה מאוד מדויק, כי הוא מבוסס על הרבה הנחות. אבל אני חושב שזה נותן לך מושג על המגמה.
@one1010 כתב ביש דרך רשמית להוריד office לא מאוקטב בלי לשלם?:
@NH-LOCAL כתב ביש דרך רשמית להוריד office לא מאוקטב בלי לשלם?:
למעשה ל-10 מכשירים
למה 10?
לי הוא כתב שהשתמשתי בחשבון השמיני מתוך 10
@משתמש-תמים כתב ביש דרך רשמית להוריד office לא מאוקטב בלי לשלם?:
@אף-אחד-3 יש דרך נוספת אם יש לך קרוב משפחה שרשום במשרד החינוך (גם דרך החינוך העצמאי) כמורה או כתלמיד מגיל כיתה א׳ עד גיל 18 ואפילו מבוגר יותר אם הוא עוד לא סיים בגרויות יש לו זכאות לאופיס 365 חינם על עד 5 מכשירים
ממליץ בחום. למעשה זה כולל גם תלמידים במוסדות הפטור. מלבד זאת הזכאות היא למעשה ל-10 מכשירים לכל חשבון. כך שאם יש מספר ילדים בבית אפשר לקבל רשיון רשמי לגמרי לעשרות מחשבים