מודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא

[NH.LOCAL]

@shraga כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

@NH-LOCAL מעניין לראות תיעוד של תהליך הבניה, ואולי של ההתכתבות עםchatgpt (יש אפשרות שיתוף).

בשמחה. אם כי הוא מבולגן יחסית, מכיון שמטבע הדברים זה דורש ניסוי וטעייה. ואחר כך שיפור של המודל המוכן וכן הלאה.

באופן כללי היו שתי שלבים שונים. שלב אחד של יצירת קוד יצירת המודל, ושלב נוסף של יצירת מערך הנתונים. למעשה, נעזרתי בצ'אט GPT לצורך יצירת עשרות מאות משפטים שונים ומשונים לאימון המודל. אציין שהקישורים המובאים כאן לא מלאים, מכיון שכל שרשור מלא בפיצולים וניסיונות חוזרים שלא מוצגים בשיתוף.

יצירת קוד פייתון עבור בניית מודל:
https://chat.openai.com/share/546f20ad-a034-4cd9-8047-b7a6bfb56733

יצירת טקסטים שונים ומשונים ועזרה בשינוי פורמט לטקסטים מהתנ"ך:

https://chat.openai.com/share/493e56c7-cf54-4781-b7d8-9c9a66413a82

ושלב אחרון - הוספת ציון של רמת הוודאות של התוצאה:

https://chat.openai.com/share/396ff5e0-a2de-491b-94a1-a22bd1563825

[one1010]

@NH-LOCAL כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.

כלומר? הוא מזהה את הסגנון? או שהוא עושה חיפוש?
אם אכתוב בסגנון תנכ"י הוא יגיד לי שזה מהתנ"ך?

[NH.LOCAL]

@one1010 כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

@NH-LOCAL כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.

כלומר? הוא מזהה את הסגנון? או שהוא עושה חיפוש?
אם אכתוב בסגנון תנכ"י הוא יגיד לי שזה מהתנ"ך?

כמובן שמזהה את הסגנון, ואין ספק שאם תכתוב בסגנון תנכ"י הוא יטעה. כל העניין הוא שמדובר ביכולת לזהות טקסטים חדשים שלא הוזנו לו מראש. לעשות חיפוש אפשר אפילו בפנקס רשימות, אין צורך ב-AI.

למעשה, המודל אומן על כ-550 פסוקים בלבד מתוך עשרות אלפי פסוקי התנ"ך

[אבי]

מעניין אם אפשר להפוך אותו שיקלוט טקסט ויפלוט אותו בסגנון תנכ"י
"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"

[NH.LOCAL]

@אבי כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

מעניין אם אפשר להפוך אותו שיקלוט טקסט ויפלוט אותו בסגנון תנכ"י
"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"

כבר חשבתי על הרעיון, אבל בפועל מדובר במשימה שונה לגמרי והרבה יותר מסובכת מהמשימה שעבורה אומן המודל.

רק מודלי שפה גדולים יכולים להתמודד עם משימות שונות, מה שמכונה בינה מלאכותית כללית. (agi)

[יוסף בן שמעון]

פוסט זה נמחק!

[אבי 203]

זה מענין, כי התנ"ך מלא בסגנונות שונים.
אז מה הוא למד את הסגנונות של 24 ספרים, האם יכול לומר מחר על פי סגנון זה משמואל, וזה מבראשית?

[NH.LOCAL]

@אבי-203 תיאורטית אני יכול לאמן אותו גם לזה, אבל זה הרבה יותר מורכב.
באופן כללי השתדלתי לגוון לו... חח"ת זה סגנון דומה פחות או יותר. הכנסתי לו גם תהילים, משלי, דניאל, ישעיהו וכו'.
כמובן, רק קטעים קצרים מכל ספר

[אבי 203]

אז זה אומר שכל הספרים יש להם מכנה משותף. אולי המכנה המשותף זה עברית קדומה.
אם תתן לו קטע מבן סירה גם יזהה כחלק מהתנך?

[NH.LOCAL]

@אבי-203 גם אם תכתוב לו כעין מה שנכתב לעיל:...

@אבי כתב במודל AI קטן שיצרתי - זיהוי האם מחרוזת היא מהתנ"ך או לא:

"ויאמר משה אל בנימין, עד מתי אתה מהתל בי, חייך שאני מעביר את חוק
הגיוס בזאת השעה"

המודל יזהה את זה כפסוק, כי הוא מזהה לפי סגנון הספר. יתכן שאם אני יאמן אותו על יותר נתונים הוא יצליח גם להבדיל בין תנ"ך לבן סירא.

בכל מקרה, אמנם לבן אנוש ברור שלתנ"ך יש סגנון יחודי, אבל אין לי מושג של ממש, איך המכונה מבצעת טת הזיהוי הזה. זה פשוט עובד. עובדה

[NH.LOCAL]

עדכון (כ"ז אב) - יצרתי גרסה מוכנה בקובץ EXE ללא צורך בהורדת פייתון וספריות קוד.

הורידו בקישור הישיר הזה:
https://github.com/NHLOCAL/is-this-bible/releases/download/v2.0/is-this-bible.zip

הוראות שימוש:

• חלצו את תוכן קובץ הזיפ לתיקיה.
• פתחו שורת הפקודה מתוך התיקיה - אפשר להקליד "CMD" בשורת הכותרת או לפתוח את התפריט בלחיצה על מקש ימני ובחירה ב"פתח במסוף" (עבור ווינדוס 11)
• הריצו את התוכנה + משפט לדוגמה שתרצו לנסות:

is-this-bible.exe "איש אחד הלך ברחוב"