מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא
-
לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.
טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.
תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.
ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.
כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.
דוגמה:
קלט שלילי:
try_model.py "האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים"פלט:
Text: האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112קלט חיובי:
try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"פלט:
Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000
קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible
-
קונים בעלי אקספרס? התוסף שיעזור לכם ✅ למצוא את המחיר הכי זול למוצר בעלי אקספרס 💰, ✅ לחפש כל מוצר שמצאתם באינטרנט ישירות בעלי 🔍, ✅ להשוות מחירים עם טימו 👈 התקינו חינם!⚡
-
@shraga כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL מעניין לראות תיעוד של תהליך הבניה, ואולי של ההתכתבות עםchatgpt (יש אפשרות שיתוף).
בשמחה. אם כי הוא מבולגן יחסית, מכיון שמטבע הדברים זה דורש ניסוי וטעייה. ואחר כך שיפור של המודל המוכן וכן הלאה.
באופן כללי היו שתי שלבים שונים. שלב אחד של יצירת קוד יצירת המודל, ושלב נוסף של יצירת מערך הנתונים. למעשה, נעזרתי בצ'אט GPT לצורך יצירת עשרות מאות משפטים שונים ומשונים לאימון המודל. אציין שהקישורים המובאים כאן לא מלאים, מכיון שכל שרשור מלא בפיצולים וניסיונות חוזרים שלא מוצגים בשיתוף.
יצירת קוד פייתון עבור בניית מודל:
https://chat.openai.com/share/546f20ad-a034-4cd9-8047-b7a6bfb56733יצירת טקסטים שונים ומשונים ועזרה בשינוי פורמט לטקסטים מהתנ"ך:
https://chat.openai.com/share/493e56c7-cf54-4781-b7d8-9c9a66413a82
ושלב אחרון - הוספת ציון של רמת הוודאות של התוצאה:
https://chat.openai.com/share/396ff5e0-a2de-491b-94a1-a22bd1563825
-
-
@one1010 כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
@NH-LOCAL כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.
כלומר? הוא מזהה את הסגנון? או שהוא עושה חיפוש?
אם אכתוב בסגנון תנכ"י הוא יגיד לי שזה מהתנ"ך?כמובן שמזהה את הסגנון, ואין ספק שאם תכתוב בסגנון תנכ"י הוא יטעה. כל העניין הוא שמדובר ביכולת לזהות טקסטים חדשים שלא הוזנו לו מראש. לעשות חיפוש אפשר אפילו בפנקס רשימות, אין צורך ב-AI.
למעשה, המודל אומן על כ-550 פסוקים בלבד מתוך עשרות אלפי פסוקי התנ"ך
-
-
@אבי כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
מעניין אם אפשר להפוך אותו שיקלוט טקסט ויפלוט אותו בסגנון תנכ"י
"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"
כבר חשבתי על הרעיון, אבל בפועל מדובר במשימה שונה לגמרי והרבה יותר מסובכת מהמשימה שעבורה אומן המודל.
רק מודלי שפה גדולים יכולים להתמודד עם משימות שונות, מה שמכונה בינה מלאכותית כללית. (agi)
-
פוסט זה נמחק!
-
-
-
@אבי-203 גם אם תכתוב לו כעין מה שנכתב לעיל:...
@אבי כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:
"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"המודל יזהה את זה כפסוק, כי הוא מזהה לפי סגנון הספר. יתכן שאם אני יאמן אותו על יותר נתונים הוא יצליח גם להבדיל בין תנ"ך לבן סירא.
בכל מקרה, אמנם לבן אנוש ברור שלתנ"ך יש סגנון יחודי, אבל אין לי מושג של ממש, איך המכונה מבצעת טת הזיהוי הזה. זה פשוט עובד. עובדה
-
עדכון (כ"ז אב) - יצרתי גרסה מוכנה בקובץ EXE ללא צורך בהורדת פייתון וספריות קוד.
הורידו בקישור הישיר הזה:
https://github.com/NHLOCAL/is-this-bible/releases/download/v2.0/is-this-bible.zipהוראות שימוש:
- חלצו את תוכן קובץ הזיפ לתיקיה.
- פתחו שורת הפקודה מתוך התיקיה - אפשר להקליד "CMD" בשורת הכותרת או לפתוח את התפריט בלחיצה על מקש ימני ובחירה ב"פתח במסוף" (עבור ווינדוס 11)
- הריצו את התוכנה + משפט לדוגמה שתרצו לנסות:
is-this-bible.exe "איש אחד הלך ברחוב"
