תחומים - פורום חרדי מקצועי

בתקופה האחרונה עבדתי על אתר חדש בשם שיר-בוט, להורדת סינגלים

האתר עובד בצורה מעניינת למדי:
הוא רוכב על דפי גיטהאב, ומסתמך על קוד HTML ו-JS בלבד. השירים עצמם מאוחסנים בגוגל דרייב, והורדת השיר מתבצעת באמצעות בקשת get לאפליקציית גוגל שמבוססת על קוד גוגל סקריפט, שמורידה קובץ תואם מגוגל דרייב לפי מספר סידורי.

הנקודה החשובה מכל - היא העובדה ש-90% ויותר מהעבודה על האתר, כולל עיצוב, קוד HTML, קוד ה-JS להפעלת החיפוש, הקוד עבור גוגל סקריפט, וקוד הפייתון עבור בניית האינדקס של רשימת השירים - בוצעה על ידי צ'אט GPT. (3.5, לא 4!)

(כמובן שגם הלוגו, ג'ונרט באמצעות בינה מלאכותית...)

אשמח לתגובות והערות לשיפור, תיקון וייעול

לכניסה לשיר בוט:
https://shir-bot.ze-kal.top/

לפני תקופה הודלף מודל השפה Llama, מבית מטא כקוד פתוח והועלה לגיטהאב. מהרגע שהודלף פורסמו גרסאות רבות והפופולריות שלו בקרב מפתחים הלכה וגברה.

לפני מספר שבועות פורסם המודל החדש Llama2 של מטא בשיתוף מיקרוסופט, כקוד פתוח רשמי. בין השאר פורסם מודל עוצמתי עם 70 מיליארד פרמטרים (לעומת 170 ב-GPT), מה שמשנה את כללי המשחק בעולם מודלי השפה הגדולים (Large Language Model)

מדובר במודל ענק עם פונטציאל אדיר, אבל בפוסט הזה אביא דוקא מודל קטן יותר שמבוסס על המודל המקורי, שמתאים להרצה על כל מחשב (מעבד i3 עם 8 ג'יגה ראם ומעלה).

יש לציין שהמודל עובד ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. הוא נהדר גם למשימות כתיבת קוד, אבל זמין באנגלית בלבד.

כל מה שצריך לעשות זה להוריד את הקבצים הבאים:

• יש להוריד את הקובץ שבקישור הזה (כ-4 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
  קישור ישיר למודל הספציפי בו השתמשתי - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin

** ניתן להוריד מתוך הרשימה של דגמים נוספים דומים, יש שם גם הסבר על ההבדלים בין המודלים - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml. Start Llama2.bat

• לאחר מכן יש להוריד את קבצי "llama.cpp", שמריצים את מודל השפה. זהו קובץ קטן למדי.
  המאגר מתעדכן כל כמה שעות, כך שכדאי פשוט להוריד את הקובץ החדש ביותר מתוך הרשימה הבאה. אני אישית בוחר בסוג הזה משום מה "llama-master-ee1b497-bin-win-avx-x64.zip", אך אודה ולא אבוש שאין לי מושג מה ההבדל בין הדגמים. כפי הנראה כולם אמורים לעבוד על ווינדוס.

• לאחר מכן הורד את קובץ ההפעלה הבא:
  Start Llama2.bat

• חלץ את קובץ הזיפ לתיקיה והעתק לתוכו את שאר הקבצים שהורדת.

• כעת, הפעל את קובץ הבאט המצורף - המודל יתחיל לפעול, כל שעליך לעשות זה להקליד תוכן כרצונך ולהקיש אנטר. (הוא עובד בעיקר באנגלית, בעברית הוא יותר גרוע מגרוע)

חשוב לשים לב: התאמתי את קובץ הבאט לכל דגם שהמשתמש יוריד, אך חשוב שבתוך התיקיה יהיה רק קובץ "bin" אחד!

---

ניתן לחפש מודלים נוספים באתר "huggingface", חלקם דורשים שליחת בקשת צפייה למטא. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)

גרסה 11.0 בעיצוב גרפי מלא בקישור באתר הרשמי

---

מצורף כאן קובץ באט שכתבתי, שממיין את הסינגלים לפי זמרים בתיקיות מסודורות.

‏‏מסדר הסינגלים 5.0.bat גרסה חדשה זמינה באתר הרשמי

צורת השימוש היא פשוטה: יש לגרור תיקייה לחיפוש של הסינגלים שלכם וללחוץ על אנטר. אח"כ יש לגרור תיקיה חדשה או כל תיקיה שהיא שאתם רוצים שהסינגלים המסודרים יעברו אליה, וללחוץ שוב על אנטר.
התוכנה מעבירה את הקבצים (יש לקחת זאת בחשבון) לתיקיה החדשה ונותנת בסוף התהליך סיכום של מספר השירים שהועברו.
התוכנה כוללת כרגע כמות של כמה מאות זמרים, ומנסיוני, היא תעביר לרוב כמות של כ-50% מהסינגלים שברשותכם.
אם יש שיר עם דואט, היא פשוט תעביר את השם הראשון שרשום לה, בדר"כ זה יעביר את הזמר הראשון בסדר אלפבתי. לדוגמא: "מרדכי בן דוד ואברהם פריד" -התוכנה תעביר את השיר לאברהם פריד.
באגים נוספים: לעיתים התוכנה עשויה שלא לזהות זמר מסוים, לדוגמא: זמר בשם "אברהם פרידמן" היא תכניס ל"אברהם פריד".
ייתכנו כמובן עוד באגים, ואשמח לשיתופכם, כך שאוכל לנסות לתקן אותם.
אפשר להעתיק ולשכפל בשמחה...

@zvinissim בודאי שלא הודפס לבן. מכיון שאין צבע לבן בדיו של המדפסת.
הדרך היחידה להדפיס לבן. זה להדפיס על דף לבן ולמלא את כל הדף בדיו שחור חוץ מהמקום של המילים.
או בבית דפוס מקצועי.

לאתר הרשמי של התוכנה (נכתב ב-HTML באופן ידני...)

https://singles-sorter.ze-kal.top

---

גרסה מעודכנת עם אינספור שיפורים:

להורדה:️
מסדר הסינגלים - התקנה

לרשימת העדכונים המלאה ראו בקישור

---

לעדכונים שוטפים הכנסו למאגר שלי ב-github:

https://github.com/NHLOCAL/Singles-Sorter

לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.

לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.

טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.

המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.

תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.

ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.

כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.

---

דוגמה:

קלט שלילי:

try_model.py "האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים"

פלט:

Text: האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112

קלט חיובי:

try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"

פלט:

Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000

---

קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible

@אף-אחד-3 כתב בלמה אני לא משתמש ב Chat openai:

כשאני שואל אותו לדוגמה "מהו הבניין הגבוה בעולם",

יש לציין שגם בגוגל יש כיום תשובות מהירות. זה התשובה לשאלה הנ"ל, כך שספציפית זו לא דוגמה טובה. וכנ"ל גם לשאלות על גיל, תאריך לועזי, חישוב תרגילים פשוטים, מזג אויר ועוד.

@צדיק-תמים כתב בלמה אני לא משתמש ב Chat openai:

איפה אני בודק האם העובדה ש"הוא הראשון שהצליח לצלם תמונות של פלנטות מחוץ למערכת השמש שלנו" היא נכונה או לא (היא לא)? באותו מקום שבו יהיה את המידע הזה, יהיה גם מידע נוסף, ובלי צורך לבדוק אותו...

ממש לא מדויק. בסופו של דבר, בדגש על בינג ספצפית - הוא מסכם מידע מכמה מקורות כך שגם אם תכנס לקישור, לא תמצא את כל המידע.
בנוסף, הוא גם ממקד את המידע בלי שתצטרך לחפש אותו בתוך הפוסט.
והכי חשוב - הביצועים שלו בעברית טובים בהרבה מגוגל. בעוד שבגוגל, יש אמנם תשובות ממוקדות לשאלות, תשובותיו לוקות בחסר בשפה העברית.
זה דוגמה טובה לפערים בין גוגל בעברית ובאנגלית לבינג צ'אט:

בבינג - לא הכי מושלם, אבל מוביל לתשובה הנכונה:

גוגל בעברית:

גוגל באנגלית:

נ.ב. חשוב להביא בחשבון שגם הביצועים של צ'אט בינג, טובים יותר באנגלית... - שימו לב לליקוט המגוון של המקורות:

[ ]

@dovid כתב בתמלול הקלטות לעברית - בדיוק מלא:

יש שתי נקודות שבמקרים מסויימים יכולים להיות סיבות למה לא להשתמש בג'מיני (או כל LLM מולטי), אלא בAPI ייעודי:
א. מחיר - הLLM יותר יקר ופחות ניתן לחיזוי בלי ניסיון בפועל.
ב. טמפרטורה ודטרמניזם - הLLM עלול - תיאורטית לפחות - להפתיע לרעה, או בכלל להפתיע.

יכול להיות שאני טועה בשניהם (כלומר שיש דרך להעריך בקלות את המחיר, ושכיום או תמיד היה ניתן להדק את הודאות של הפלט ל99.99 אחוזים), אני התמודדתי עם שני הדברים האלה כמה פעמים. גם בתרגום טקסט לטקסט, וגם באילוץ מבנה תשובה ששמה לכאורה לא יכולים להיות הפתעות.

אני רואה שהזכירו את האתר שלי לעיל

כמה הערות מנסיוני כאחד שהשקיע הרבה בירור ועבודה של חודשים בנושא:

• בשונה מהמקובל - למודלים כמו וויספר ודומיהם יש הזיות לא פחות ממודלים מבוססי LLM
  באופן אישי נתקלתי בהזיות האלו בשימוש די בסיסי אפילו עבור תמלול תוכן באנגלית
  הנה לדוגמה כתבה בנושא שנתקלתי בה בעבר

• LLMs אכן הוזים לפעמים כאשר מדובר על תוכן שפחות נמצא בנתוני האימון, כמו יידיש או הברה אשכנזית כבדה
  אבל בעברית סטנדרטית עם איכות הקלטה סבירה, רמת הדיוק שלהם קרובה מאוד ל-100%, ברמה שיתכן שניתן לוותר אפילו על הגייה אנושית (אם כי לא הייתי סומך על זה בעיניים עצומות)

• המחיר הוא אכן שיקול משמעותי ולשימוש יומיומי בסיסי בהחלט אין טעם בשימוש ב-LLMs, אבל עבור כל מה שמעבר (עריכת ספרים, תמלול סרטונים ליוטיוב, תמלול פודקאסטים), אין ספק ששימוש ב-LLMs (או באתר שלי...) יהיה הרבה יותר יעיל ויחסוך הרבה עבודה, ביחוד עבור מי שגם ככה משקיע מאות ואלפי שקלים עבור תמלול אנושי

• הכוכבית היחידה הוא תמלול כתוביות לפי זמנים - שבו LLMs בהחלט עשויים להזות ולהמציא זמנים או לא לדייק בהם
  גם יצירת תוכן בפורמט קבוע כמו SRT עדיין בעייתית וגורמת להרבה תקלות

@dovid כתב בתמלול הקלטות לעברית - בדיוק מלא:

@צדיק-תמים כשכתבתי גוגל הבנת שאני מתכוון לג'מיני?
גם GPT אני מתכוון לAPI הייעודי שלהם לזיהוי טקסט,
ברור לי שGPT עצמו ייתן תוצאה טובה יותר.

• מידע בונוס: האיכות של GPT עבור תמלול לא מרשימה בכלל ולא שווה הרבה. נראה ש-OpenAI די הזניחו תכונות מולטי-מודאליות מסויימות בשונה מגוגל
  למעשה, נראה לי שהמודל האחרון שתומך ב-API של TTS הוא GPT 4o

@shraga בגדול, היסוד הוא להתייעץ עם המודל מראש איך ובאיזו צורה לעבוד. כתוב לו את הפרטים על השרת שלך, אופי השימוש בקוד וכן הלאה, ותבקש ממנו להמליץ לך על המבנה והשפה המתאימה ביותר.

בנוסף, כדאי מאוד להשתמש אך ורק במודלי חשיבה כמו o3 ו-o4 mini של OpenAI, או gemini 2.5 pro של גוגל.
הפער באינטלגנציה ויכולות הקידוד של המודלים הללו ביחס למודלי שפה רגילים, הוא מה שנותן למודלים הללו את היכולת לבנות את הקוד בצורה הרבה יותר טובה ומושלמת וכמעט ללא התערבות של המשתמש

בכללי, ה-AI עצמו יכול להיות המנטור שלך. פשוט בכל פעם תשאל אותו במקום רק לדרוש ממנו.
למשל: "האם יש דרך טובה יותר לעשות את זה?", "איך ניתן לשפר את הקוד?" וכן הלאה

נ.ב מצטרף לדברים של @one1010 - כדאי לך מאוד להשתמש בג'מיני 2.5 פרו דרך AI Studio. היכולת שלו לנתח כמות אינסופית של קוד, באיכות גבוהה מאוד וכמעט בלי שום מגבלת שימוש, מתאימה בדיוק למקרה שלך.
כדי להעלות את בסיס הקוד שלך לממשק, תוכל להשתמש בכלי repomix, כלי נהדר שהופך את כל תיקית הקוד שלך לקובץ יחיד.

נ.ב.ב. רק הערה קטנה - הקריאה של claude בעברית היא קלוד, ולא קלאוד

כרטיסיות בווינדוס 11 זמינות כעת לכלל המשתמשים!

כעת ישנה אפשרות לקבל את הכרטיסיות המובטחות בגרסה למשתמשים הרגילים, לבעלי גרסת 22H2 בלבד - ראו בקישורים הבאים:

הפוסט הרשמי של מיקרוסופט:
https://support.microsoft.com/en-us/topic/october-18-2022-kb5019509-os-build-22621-675-out-of-band-4fdf3458-148a-46bd-b163-ecb93c282726

פוסט כללי בנושא:
https://www.xda-developers.com/windows-11-22h2-file-explorer-tabs-available
(ולמשועממים מביננו עוד שפע של פוסטים בנושא ניתן לראות כאן)

הורדה כקובץ אופליין למי שלא קיבל עדכון:
https://catalog.s.download.windowsupdate.com/d/msdownload/update/software/updt/2022/10/windows11.0-kb5019509-x64_19d517d386a7938c7840ac581e3b731e457d7618.msu

---

הערה חשובה:

מכיוון שנתקלתי בדיווחים רבים על הבעיה בניווט בכרטיסיות במסך מלא, כמו שמופיע כאן לדוגמא, אני מוסיף כאן קישור לפוסט שלי במרכז המשוב, הצבעות בעד יוכלו להועיל!
(יש ליצור חשבון במרכז המשוב כדי להכנס)

https://aka.ms/AAifggn

נ.ב. מכיוון שהבעיה קיימת בגרסה בעברית בלבד חשוב מאוד להצביע בעד הפוסט שם, זו הדרך היחידה לטפל בבעיה (וזו הסיבה למה היא לא תוקנה, למרות שעברו כבר חודשים ארוכים בה היא מפורסמת לקבוצת האינסיידרס, ולמה היא פורסמה לציבור למרות שיש בה באגים)

@avramk בעקרון זה עניין של הגדרות סייר הקבצים.
כנס לאפשרויות תיקיה ותבדוק אם מסומן וי בשורה שמודגשת בכחול

(שים לב גם לשורה השלישית מלמטה - "הצג תמיד סמלים אף פעם לא תמונות ממוזערות")

הסקריפט עודכן - י' ניסן תשפ"ב

3.0 מבטל חסימת קבצים.bat

בגרסה זו התווספה אופציה לתזמון אוטומטי של ביטול חסימת קבצים בכל כניסה של המשתמש לחשבון.
התוכנית תפעל ברקע ללא צורך בהתערבות המשתמש.
וכמובן, אפשר לבטל את התזמון בכל שלב.

מה שהסקריפט הזה עושה זה לבטל חסימה של תוכנות וקבצים שהורדו מהאינטרנט ולא ניתנים להפתח בלי שינוי במאפיינים שלהם.
הסקריפט מבטל חסימה גם של מאות קבצים בשניות ספורות!

חשוב: גרסה זו מחייבת הרשאות מנהל. למשתמשים רגילים מצורפת בזה גם הגרסה הישנה.

2.0 מבטל חסימת קבצים.bat

@חגי כתב באיפה הכי מומלץ לפרוס אתר לאוויר?:

כמעט תמיד שרת קטן יספיק לך, בשביל שהוא לא יספיק אתה צריך עומס משמעותי מאוד, אם יש לך כמות תעבורה שאתה מצפה לה אתה יכול לעשות בדיקת עומסים מראש ולראות אם שרת קטן יספיק לך לזה או לא.

בהקשר לנקודה הזו - אני משתמש בשרת לינוקס פשוט של ovh עבור אתר אלף בוט, בעלות של 50 ש"ח לחודש. עבור ניהול ה-DB אני משתמש בשירות חיצוני של NEON, שעולה לי יותר מהשרת עצמו (תשלום לפי שימוש).

הנקודה המעניינת היא, שבדיוק היום, ביצעתי פרסום מסיבי של האתר ב"הגיזרה", ולמרות כמות כניסות עצומה (יותר מפי 10 מכמות המשתמשים הממוצעת בדרך כלל), האתר פועל היטב ולגמרי חלק, להפתעתי החיובית. על אף שהאתר כולל שימוש כבד יחסית עם המרת קבצים ב-ffmpeg כחלק מהתהליך.

@Mordechay כתב בלמה צריך עדיין מתכנתים:

ברור שזה רע, המוח שלך לא מתפתח (זה כמו שאדם שיענו לו על כל השאלות ויתנו לו כל מה שהוא רוצה לא ייצא ממנו כלום) וברגע שה ai מגיע להתגר שהוא לא יכול לעמוד בו וצריך אותך או לאתגר שהוא לא יכול לעשות בשבילך - לנהל משא ומתן, קשרים, עבודה (שצריך אותך ולא את ה ai שאתה משתמש), גמישות, ועוד ועוד, אתה נתקע עם כל חוסר ההשקעה בחיים...

ביל גייטס וסטיב ג'ובס הפסיקו לכתוב קוד הרבה לפני שהם הפכו למנכ"לים של חברות בשווי עשרות מיליארדים.
אי כתיבת קוד לא עוצרת את ההתפתחות שלך, היא בסך הכל מחליפה אותה בסוג אחר, כנראה טוב בהרבה

זה קצת ישן. אבל למי שיתקל בפוסט בעתיד, ניתן להשתמש בספריית pyluach:

התקנה:

pip install pyluach

הקוד המתאים:

from pyluach import dates
import datetime

# קבלת התאריך הלועזי הנוכחי
today_gregorian = datetime.date.today()

# המרת התאריך הלועזי לתאריך עברי
hebrew_date = dates.GregorianDate(today_gregorian.year, today_gregorian.month, today_gregorian.day).to_heb()

# הצגת התאריך העברי בפורמט עברי
hebrew_date_str = hebrew_date.hebrew_date_string()
print(f"התאריך העברי היום הוא: {hebrew_date_str}")

התוצאה במקרה שלנו:

התאריך העברי היום הוא: י״ד כסלו תשפ״ה

הרעיון די פשוט והוא עלה בדעתי תוך כדי הדיון כאן. הביצוע ברובו הוא צ'אט GPT. קוד פייתון כמובן.

import string

def create_dict():
    # Initialize an empty dictionary
    ascii_dict = {}

    # Loop through numbers from 0 to 99
    for num in range(100):
        # Convert the number to a two-digit string
        num_str = f"{num:02d}"
        
        # Get the corresponding ASCII character using the number as an index
        ascii_char = string.printable[num]
        
        # Add the number and its corresponding ASCII character to the dictionary
        ascii_dict[num_str] = ascii_char

    return ascii_dict



def hash_phone(phone_number):
    # Ensure the input phone_number is a string of 8 digits
    if not isinstance(phone_number, str) or len(phone_number) != 8 or not phone_number.isdigit():
        raise ValueError("Invalid phone number. Please provide an 8-digit string of numbers.")

    # Create the dictionary (you can use your 'create_dict' function here)
    ascii_dict = create_dict()

    # Initialize an empty string to store the resulting ASCII characters
    ascii_result = ""

    # Convert each pair of digits to corresponding ASCII characters
    for i in range(0, len(phone_number), 2):
        num_pair = phone_number[i:i + 2]
        if num_pair in ascii_dict:
            ascii_result += ascii_dict[num_pair]
        else:
            raise ValueError(f"No dictionary entry found for {num_pair}")

    return ascii_result

def unhash_phone(ascii_code):
    # Ensure the input is a string of 4 ASCII characters
    if not isinstance(ascii_code, str) or len(ascii_code) != 4:
        raise ValueError("Invalid ASCII code. Please provide a string of 4 ASCII characters.")

    # Create the dictionary (you can use your 'create_dict' function here)
    ascii_dict = create_dict()

    # Initialize an empty string to store the resulting number
    phone_number = ""

    # Convert each ASCII character back to the original number pair
    for char in ascii_code:
        found = False
        for num_pair, ascii_char in ascii_dict.items():
            if ascii_char == char:
                phone_number += num_pair
                found = True
                break

        if not found:
            raise ValueError(f"No dictionary entry found for ASCII character: {char}")

    # Convert the resulting string of number pairs back to an integer
    return phone_number



code = hash_phone('48416227')
print(code)
print(unhash_phone(code))

המרת מספר טלפון לטבלת ASCII.py

@חגי כתב בקוד נגדי קצר:

הקוד הנגדי חייב להיות מספרים?

אם משתמשים בקודי ascii אפשר ליצור מ-8 ספרות קוד של 4 ספרות, ולהמיר אותם בחזרה למספר

לדוגמה (בהנחה שמורידים את שתי הספרות הראשונות):

rg`y = 27168934

MF!r = 48416227

(יש ברשותי את הקוד המלא אם יהיה בזה עניין למישהו)

@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@NH-LOCAL ומכאן גם החסרון הענק שלו. בנאדם חוץ מההבנה יש לו גם יידע ואחסון ענק אם לAI יש רק הבנה הוא יכול להמציא עובדות הגיוניות מאד אבל כלל לא נכונות כי הוא רק למד לחשוב בהיגיון מבלי יכולת לאמת אותה בכל תשובה.

בדיוק בשביל זה גם מיקרוסופט עם בינג וגם גוגל עם בארד, משלבים יכולות חיפוש באינטנרט עם מודל שפה.

עריכה: חשוב לציין, שבלמידת מכונה באופן כללי (לאו דוקא מודל שפה), כל הרעיון הוא לזהות מידע חדש, שעדיין לא קיים במודל. למשל, במודל שמזהה שמות של מקומות בתוך טקסט, הוא יכול לחשב מה נראה כמו שם של מקום לפי הסגנון. מה שחוסך את הצורך ליצור מאגר שלם עם רשימה של שמות מקומות, וגם עוזר למערכת לזהות שמות חדשים שלא היו קיימים במאגר ידני.

@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:

התחלתי לקרוא את המאמר שצירפו כאן אבל עדיין לא נראה לי שזה רק עניין של התסברות של המילה הבאה. כי מעבר להסתברות הוא מביא תשובות הגיוניות ומבין את השאלה.

ליתר דיוק - הסתברות של המילה הבאה בהתחשב למשפט שהזנת לו. (אני גם לא מבין מה זה בדיוק אומר, אבל כך זה עובד)

זה הרבה יותר עמוק מזה להבנתי

ככלל, העומק הגדול ביותר טמון לפעמים, דוקא בפשטות הגדולה ביותר

@נהראל אין קל מזה. מקש ימני. "ערוך".
(אגב, משתמש מתחיל לא קשור כל כך... תבדוק רגע את המוניטין שלי...)

למי שיראה את השרשור הזה, ניתן לקבל נתוני פרקים ואורך של ספרי יסוד במערך הנתונים שפרסמתי ב-HF

https://huggingface.co/datasets/NHLOCAL/judaic-texts-structure