מודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?

[Y.Excel.Access]

אחרי ההסברים ב כך תריצו מודל שפה חזק על המחשב הביתי שלכם איך עובד מודל שפה, רציתי לשאול האם ישנה אפשרות תיאורטית או מעשית לתת למודל שפה כלשהו מספיק מידע כדי שיענה בשפה 'חרדית'?
כרגע בנט פרי הוא מוגדר כ'תרבות חיצונית', ובצדק גמור. אם תשאלו אותו 'מה לעשות עכשיו, משעמם לי' כנראה הוא לא יגיד לכם לכו תלמדו דף היומי כמו שכתוב בתחתית העמוד כאן, יותר סביר שיאמר ההיפך, כמו שכתוב בדר"כ באינטרנט...

אז הצורך הוא (מדורג מהכרחי לעדיף):

• שלא יאמר דברים שלא לעניין לומר - נושאים שלא דנים עליהם, ביטויים שלא אומרים וכדו', כך שבעקרון לא צריך לשים עליו סינון.
• שיענה בשפה חרדית - ב"ה, מה הנפק"מ, וכד'
• שיבין את סולם הערכים החרדי
• והכי קשה - שידע לענות על שאלות תורניות...

נראה לכם אפשרי? או שאפשר להתייאש מראש, ולא ייצרו לעולם כזה דבר?

[shraga]

@Y-Excel-Access
בהערת אגב, יש את זה
https://rebbe.io/
חסום כרגע בנטפרי,
מבוסס על chatgpt
הפרומפט המנחה שלו הוא:
You are a Chabad Jewish Rabbi. Speak in the 1st person. Only answer according to Torah sources. Give fully detailed answers
האמת, לא שווה הרבה...
יש גם מודל עברי חדש של דיקטה (עדיין לא פורסם לציבור) שיתכן שאומן על הרבה טקסטים תורניים

[צדיק תמים]

@Y-Excel-Access יש את https://kosher.chat שהוא באמת נקי עד כמה שבדקתי, מצד שני הרבה פחות איכותי
שאלות תורניות זה משהו אחר לחלוטין, שכנראה שאם זה אפשרי היחידים שיכולים לעשות אותו זה אוצר החכמה שמחזיקים בים טקסטים תורניים (אולי יש עוד מאגרים תורניים עם כמויות גדולות מספיק, אני לא מצוי בשוק המאגרים התורניים הממוחשבים), ולא הכמות המזערית (יחסית) של טקסטים שפתוחים לציבור כמו ויקיטקסט וספריא

[בראשית ברכות]

@Y-Excel-Access כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

שלא יאמר דברים שלא לעניין לומר - נושאים שלא דנים עליהם, ביטויים שלא אומרים וכדו', כך שבעקרון לא צריך לשים עליו סינון.
שיענה בשפה חרדית - ב"ה, מה הנפק"מ, וכד'
שיבין את סולם הערכים החרדי

כל זה אולי אפשרי במסגרת המודלים הקיימים על ידי prompt engineering או fine tuning (אני לא מבין בנושא רק מכיר מילים )

@Y-Excel-Access כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

והכי קשה - שידע לענות על שאלות תורניות...

זה צריך אימון מודל מחדש שצורך המון משאבים (=יקר), אני לא יודע אם זה בהשג יד של אדם מן השורה

גם, יש סכנה בבוט שיענה על שאלות הלכתיות, ככל שהוא יותר משכנע כך הוא יותר מסוכן, צריך לחושב טוב טוב איך לעשות משהו כזה בלי סכנה

[one1010]

@בראשית-ברכות כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

גם, יש סכנה בבוט שיענה על שאלות הלכתיות, ככל שהוא יותר משכנע כך הוא יותר מסוכן, צריך לחושב טוב טוב איך לעשות משהו כזה בלי סכנה

כשלב ראשוני אפשר שהוא רק יפנה למקורות מדוייקים שמדברים על הנושא,סוג של חיפוש משוכלל

[בראשית ברכות]

@one1010 אני חושש שהפנייה למקורות מודייקים זה לא מהצדדים החזקים של AI

בדומה למה שהצעת, אפשר לאמן אותו שהוא רק יכוון לאיזה נושאים השאלה קשורה, כמו לאיזה מלאכת שבת וכדומה

אבל אי אפשר לסמוך על הגבלה מלאכותית על ידי אימון כמו שרואים היום עם צ'אטGPT שזה משחק חתול ועכבר תמידי מול אנשים שמנסים לפרוץ את המחסומים שהעמידו לפני ה-AI

משהו שאפשר להנות מיד היום מ-AI כזה הוא בתחום ה-OCR של ספרים תורניים, ה-AI יכול לעזור מאוד לבחור את התו הנכון מתוך כמה אפשרויות, בדיוק כמו שבן אדם יודע לפענח תו לא ברור לפי ההקשר, נדמה שלי שמודל כזה יעלה מאוד את הדיוק של OCR בספרים תורניים

[one1010]

@בראשית-ברכות כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

אני חושש שהפנייה למקורות מודייקים זה לא מהצדדים החזקים של AI

למה לא? היום כשיש לך שאלה תכנותית אתה שואל, הוא 'מבין' את השאלה ועונה תשובה.
כך גם בהלכתי, הוא 'יבין' את השאלה, יבין את התשובה אבל במקום לומר ת התשובה הוא יביא מקור שמדבר על זה

[אף אחד 3]

@one1010 כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

@בראשית-ברכות כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

אני חושש שהפנייה למקורות מודייקים זה לא מהצדדים החזקים של AI

למה לא? היום כשיש לך שאלה תכנותית אתה שואל, הוא 'מבין' את השאלה ועונה תשובה.
כך גם בהלכתי, הוא 'יבין' את השאלה, יבין את התשובה אבל במקום לומר ת התשובה הוא יביא מקור שמדבר על זה

לא זו הדרך שבה מודלי שפה עובדים

[one1010]

@אף-אחד-3 כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

לא זו הדרך שבה מודלי שפה עובדים

כבר התווכחנו על זה...
זה מתחיל בהסתברות מה המילה הבאה אבל בשלב מסויים נוצרת הבנה שהמפתחים לא יודעים להסביר אותה...

[אף אחד 3]

@one1010 מניין לך?
הוא לא יודע מאיפה לקוח כל משקל מה גם שמשקל הוא משוקלל מכלל המקורות שהוזנו אליו וא"כ אין לו דרך להצביע על מקור מסויים כי כל טוקן שהוזן אליו השפיע על זה

[one1010]

@אף-אחד-3 כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

@one1010 מניין לך?
הוא לא יודע מאיפה לקוח כל משקל מה גם שמשקל הוא משוקלל מכלל המקורות שהוזנו אליו וא"כ אין לו דרך להצביע על מקור מסויים כי כל טוקן שהוזן אליו השפיע על זה

אני חושש שזה יחרוג מהשרשור המקורי.
נוכל להתווכח על זה בשרשור ה'הוא'

https://tchumim.com/topic/15385/צאט-ai-מודל-שפה/22?_=1693321761789#:~:text=הוא אומר שכשאתה מחשב הסתברות ע"פ 175B נוצר כאן הגיון שאנחנו לא יכולים להבין%2C אבל המודל נשאר אותו דבר כמו המודל של 100K פרמטרים%2C הוא מחשב באותה שיטת הסתברות.

[Y.Excel.Access]

@צדיק-תמים כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

@Y-Excel-Access יש את https://kosher.chat שהוא באמת נקי עד כמה שבדקתי, מצד שני הרבה פחות איכותי
שאלות תורניות זה משהו אחר לחלוטין, שכנראה שאם זה אפשרי היחידים שיכולים לעשות אותו זה אוצר החכמה שמחזיקים בים טקסטים תורניים (אולי יש עוד מאגרים תורניים עם כמויות גדולות מספיק, אני לא מצוי בשוק המאגרים התורניים הממוחשבים), ולא הכמות המזערית (יחסית) של טקסטים שפתוחים לציבור כמו ויקיטקסט וספריא

תודה, ממש מעניין לראות אם זה יוכל להתפתח.

משום מה עדיין חסום לי תחת 'תרבות חיצונית', כנראה נט פרי פשוט לא בדקו או שהם עדיין לא סומכים על זה שזה מספיק טוב.

[חגי]

@Y-Excel-Access
ניסיתי עכשיו לשאול שאלה שנויה במחלוקת, והוא סיים בכך שצריך לשאול רב מוסמך

עריכה: שאלתי אותו עוד שאלות עד שלבסוף הוא אמר שלא כולם מדליקים נרות חנוכה בגלל שזה רק מנהג שלא התקבל על כולם. (הוא ערבב "מנהגים" ומצוות דרבנן בלי למצמץ)

[לילה לבן]

צריך לנסות לתת לו דף גמרא ולשאול שאלות מתוכו, הוא ידע להבין?

[NH.LOCAL]

@בראשית-ברכות כתב במודל שפה חרדי - האם אפשר ליצור GPT עם ראש תורני?:

משהו שאפשר להנות מיד היום מ-AI כזה הוא בתחום ה-OCR של ספרים תורניים, ה-AI יכול לעזור מאוד לבחור את התו הנכון מתוך כמה אפשרויות, בדיוק כמו שבן אדם יודע לפענח תו לא ברור לפי ההקשר, נדמה שלי שמודל כזה יעלה מאוד את הדיוק של OCR בספרים תורניים

יש כבר מודל קיים של דיקטה שעושה בדיוק את הדבר הזה

@Y-Excel-Access בכל מקרה - אין ספק שהפתרון הטוב ביותר ליצור דבר שכזה, הוא באמצעות כוונון עדין של מודל שפה על נתונים מגורדים מאוצר החכמה.

הבעיה היא שמודל השפה הטוב ביותר בקוד פתוח כיום, LLAMA 2 70B, עדיין גרוע מאוד בכתיבה בעברית (וכנראה גם בהבנה של בקשות בעברית)