תחומים - פורום חרדי מקצועי

בתקופה האחרונה עבדתי על אתר חדש בשם שיר-בוט, להורדת סינגלים

האתר עובד בצורה מעניינת למדי:
הוא רוכב על דפי גיטהאב, ומסתמך על קוד HTML ו-JS בלבד. השירים עצמם מאוחסנים בגוגל דרייב, והורדת השיר מתבצעת באמצעות בקשת get לאפליקציית גוגל שמבוססת על קוד גוגל סקריפט, שמורידה קובץ תואם מגוגל דרייב לפי מספר סידורי.

הנקודה החשובה מכל - היא העובדה ש-90% ויותר מהעבודה על האתר, כולל עיצוב, קוד HTML, קוד ה-JS להפעלת החיפוש, הקוד עבור גוגל סקריפט, וקוד הפייתון עבור בניית האינדקס של רשימת השירים - בוצעה על ידי צ'אט GPT. (3.5, לא 4!)

(כמובן שגם הלוגו, ג'ונרט באמצעות בינה מלאכותית...)

אשמח לתגובות והערות לשיפור, תיקון וייעול

לכניסה לשיר בוט:
https://nhlocal.github.io/shir-bot

לפני תקופה הודלף מודל השפה Llama, מבית מטא כקוד פתוח והועלה לגיטהאב. מהרגע שהודלף פורסמו גרסאות רבות והפופולריות שלו בקרב מפתחים הלכה וגברה.

לפני מספר שבועות פורסם המודל החדש Llama2 של מטא בשיתוף מיקרוסופט, כקוד פתוח רשמי. בין השאר פורסם מודל עוצמתי עם 70 מיליארד פרמטרים (לעומת 170 ב-GPT), מה שמשנה את כללי המשחק בעולם מודלי השפה הגדולים (Large Language Model)

מדובר במודל ענק עם פונטציאל אדיר, אבל בפוסט הזה אביא דוקא מודל קטן יותר שמבוסס על המודל המקורי, שמתאים להרצה על כל מחשב (מעבד i3 עם 8 ג'יגה ראם ומעלה).

יש לציין שהמודל עובד ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. הוא נהדר גם למשימות כתיבת קוד, אבל זמין באנגלית בלבד.

כל מה שצריך לעשות זה להוריד את הקבצים הבאים:

• יש להוריד את הקובץ שבקישור הזה (כ-4 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
  קישור ישיר למודל הספציפי בו השתמשתי - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin

** ניתן להוריד מתוך הרשימה של דגמים נוספים דומים, יש שם גם הסבר על ההבדלים בין המודלים - https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml. Start Llama2.bat

• לאחר מכן יש להוריד את קבצי "llama.cpp", שמריצים את מודל השפה. זהו קובץ קטן למדי.
  המאגר מתעדכן כל כמה שעות, כך שכדאי פשוט להוריד את הקובץ החדש ביותר מתוך הרשימה הבאה. אני אישית בוחר בסוג הזה משום מה "llama-master-ee1b497-bin-win-avx-x64.zip", אך אודה ולא אבוש שאין לי מושג מה ההבדל בין הדגמים. כפי הנראה כולם אמורים לעבוד על ווינדוס.

• לאחר מכן הורד את קובץ ההפעלה הבא:
  Start Llama2.bat

• חלץ את קובץ הזיפ לתיקיה והעתק לתוכו את שאר הקבצים שהורדת.

• כעת, הפעל את קובץ הבאט המצורף - המודל יתחיל לפעול, כל שעליך לעשות זה להקליד תוכן כרצונך ולהקיש אנטר. (הוא עובד בעיקר באנגלית, בעברית הוא יותר גרוע מגרוע)

חשוב לשים לב: התאמתי את קובץ הבאט לכל דגם שהמשתמש יוריד, אך חשוב שבתוך התיקיה יהיה רק קובץ "bin" אחד!

---

ניתן לחפש מודלים נוספים באתר "huggingface", חלקם דורשים שליחת בקשת צפייה למטא. ככלל, ככל שהמודל מתקדם וגדול יותר, (במשקל - גודל הג'יגה של הקובץ, ובפרמטרים - מסומן עם האות B, למשל "70B" [באנגלית מליארד = ביליון. כלומר 70 מליארד פרמטרים], כך הוא יכביד יותר על המחשב ויעבוד לאט יותר, התאימו את המודל לעוצמת המחשב שלכם)

גרסה 11.0 בעיצוב גרפי מלא בקישור באתר הרשמי

---

מצורף כאן קובץ באט שכתבתי, שממיין את הסינגלים לפי זמרים בתיקיות מסודורות.

‏‏מסדר הסינגלים 5.0.bat גרסה חדשה זמינה באתר הרשמי

צורת השימוש היא פשוטה: יש לגרור תיקייה לחיפוש של הסינגלים שלכם וללחוץ על אנטר. אח"כ יש לגרור תיקיה חדשה או כל תיקיה שהיא שאתם רוצים שהסינגלים המסודרים יעברו אליה, וללחוץ שוב על אנטר.
התוכנה מעבירה את הקבצים (יש לקחת זאת בחשבון) לתיקיה החדשה ונותנת בסוף התהליך סיכום של מספר השירים שהועברו.
התוכנה כוללת כרגע כמות של כמה מאות זמרים, ומנסיוני, היא תעביר לרוב כמות של כ-50% מהסינגלים שברשותכם.
אם יש שיר עם דואט, היא פשוט תעביר את השם הראשון שרשום לה, בדר"כ זה יעביר את הזמר הראשון בסדר אלפבתי. לדוגמא: "מרדכי בן דוד ואברהם פריד" -התוכנה תעביר את השיר לאברהם פריד.
באגים נוספים: לעיתים התוכנה עשויה שלא לזהות זמר מסוים, לדוגמא: זמר בשם "אברהם פרידמן" היא תכניס ל"אברהם פריד".
ייתכנו כמובן עוד באגים, ואשמח לשיתופכם, כך שאוכל לנסות לתקן אותם.
אפשר להעתיק ולשכפל בשמחה...

@zvinissim בודאי שלא הודפס לבן. מכיון שאין צבע לבן בדיו של המדפסת.
הדרך היחידה להדפיס לבן. זה להדפיס על דף לבן ולמלא את כל הדף בדיו שחור חוץ מהמקום של המילים.
או בבית דפוס מקצועי.

לאתר הרשמי של התוכנה (נכתב ב-HTML באופן ידני...)

https://nhlocal.github.io/Singles-Sorter

---

גרסה מעודכנת עם אינספור שיפורים:

להורדה:️
מסדר הסינגלים - התקנה

להורדת קובץ עזרה עדכני ️
עזרה מלאה למסדר הסינגלים.pdf

לרשימת העדכונים המלאה ראו בקישור

---

לעדכונים שוטפים הכנסו למאגר שלי ב-github:

https://github.com/NHLOCAL/Singles-Sorter

לאחרונה עשיתי צעדים ראשונים בעולם ה-machine learning. במהלך הנסיונות יצרתי כמה מודלים לכמה מטרות, בין השאר - מודל שמזהה האם משפט מסויים הוא מהתנ"ך או מכל מקום אחר.

לצורך כך השתמשתי ברשימה של כ-500 פסוקים ממקומות שונים בתנ"ך ושל כ-500 משפטים בסגונונת שונים, כמו חדשות, בדיחות, סיפורים, מונולוגים, ועוד.

טוב, זה לא הדבר הכי שימושי בעולם, זה בא בעיקר בשביל להדגים את היכולות של למידת מכונה.
האמת היא, שכמעט לא עשיתי שום דבר בעצמי. בניית הקוד הבסיסי, ואפילו מערך הנתונים, נוצר בעזרתו האדיבה של צ'אט GPT.

המודל מצליח לזהות משפטים ברמה טובה למדי, וניתן לנסות אותו בקלות על ידי הורדת קובץ השחרור מהמאגר בגיטהאב.

תוכלו להריץ את הקובץ try_model כדי לראות רשימת משפטים לדוגמה עם הזיהוי "bible" או "other", כולל רמת הוודאות של הזיהוי. בנוסף, תוכלו להכניס משפט כלשהו כפרמטר משורת הפקודה עם מרכאות בתחילת וסוף המשפט.

ניתן לחפש את המשפט הספציפי בתוך הקובץ bible_data.csv שמכיל את מערך הנתונים, כדי לוודא שהמשפט לא הוזן למודל מראש.

כדי להריץ את המודל בפועל יש להוריד עם pip את המודלים joblib ו- nltk.

---

דוגמה:

קלט שלילי:

try_model.py "האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים"

פלט:

Text: האתר תחומים מכיל שאלות בנושאי תכנות ונושאים אחרים | Prediction: Other | Confidence Score: 0.3112

קלט חיובי:

try_model.py "עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך"

פלט:

Text: עניה סערה לא נחמה הנה אנכי מרביץ בפוך אבניך ויסדתיך בספירים | Prediction: Bible | Confidence Score: 1.0000

---

קישור למאגר עצמו - https://github.com/NHLOCAL/is-this-bible

@אף-אחד-3 כתב בלמה אני לא משתמש ב Chat openai:

כשאני שואל אותו לדוגמה "מהו הבניין הגבוה בעולם",

יש לציין שגם בגוגל יש כיום תשובות מהירות. זה התשובה לשאלה הנ"ל, כך שספציפית זו לא דוגמה טובה. וכנ"ל גם לשאלות על גיל, תאריך לועזי, חישוב תרגילים פשוטים, מזג אויר ועוד.

@צדיק-תמים כתב בלמה אני לא משתמש ב Chat openai:

איפה אני בודק האם העובדה ש"הוא הראשון שהצליח לצלם תמונות של פלנטות מחוץ למערכת השמש שלנו" היא נכונה או לא (היא לא)? באותו מקום שבו יהיה את המידע הזה, יהיה גם מידע נוסף, ובלי צורך לבדוק אותו...

ממש לא מדויק. בסופו של דבר, בדגש על בינג ספצפית - הוא מסכם מידע מכמה מקורות כך שגם אם תכנס לקישור, לא תמצא את כל המידע.
בנוסף, הוא גם ממקד את המידע בלי שתצטרך לחפש אותו בתוך הפוסט.
והכי חשוב - הביצועים שלו בעברית טובים בהרבה מגוגל. בעוד שבגוגל, יש אמנם תשובות ממוקדות לשאלות, תשובותיו לוקות בחסר בשפה העברית.
זה דוגמה טובה לפערים בין גוגל בעברית ובאנגלית לבינג צ'אט:

בבינג - לא הכי מושלם, אבל מוביל לתשובה הנכונה:

גוגל בעברית:

גוגל באנגלית:

נ.ב. חשוב להביא בחשבון שגם הביצועים של צ'אט בינג, טובים יותר באנגלית... - שימו לב לליקוט המגוון של המקורות:

[ ]

כרטיסיות בווינדוס 11 זמינות כעת לכלל המשתמשים!

כעת ישנה אפשרות לקבל את הכרטיסיות המובטחות בגרסה למשתמשים הרגילים, לבעלי גרסת 22H2 בלבד - ראו בקישורים הבאים:

הפוסט הרשמי של מיקרוסופט:
https://support.microsoft.com/en-us/topic/october-18-2022-kb5019509-os-build-22621-675-out-of-band-4fdf3458-148a-46bd-b163-ecb93c282726

פוסט כללי בנושא:
https://www.xda-developers.com/windows-11-22h2-file-explorer-tabs-available
(ולמשועממים מביננו עוד שפע של פוסטים בנושא ניתן לראות כאן)

הורדה כקובץ אופליין למי שלא קיבל עדכון:
https://catalog.s.download.windowsupdate.com/d/msdownload/update/software/updt/2022/10/windows11.0-kb5019509-x64_19d517d386a7938c7840ac581e3b731e457d7618.msu

---

הערה חשובה:

מכיוון שנתקלתי בדיווחים רבים על הבעיה בניווט בכרטיסיות במסך מלא, כמו שמופיע כאן לדוגמא, אני מוסיף כאן קישור לפוסט שלי במרכז המשוב, הצבעות בעד יוכלו להועיל!
(יש ליצור חשבון במרכז המשוב כדי להכנס)

https://aka.ms/AAifggn

נ.ב. מכיוון שהבעיה קיימת בגרסה בעברית בלבד חשוב מאוד להצביע בעד הפוסט שם, זו הדרך היחידה לטפל בבעיה (וזו הסיבה למה היא לא תוקנה, למרות שעברו כבר חודשים ארוכים בה היא מפורסמת לקבוצת האינסיידרס, ולמה היא פורסמה לציבור למרות שיש בה באגים)

@avramk בעקרון זה עניין של הגדרות סייר הקבצים.
כנס לאפשרויות תיקיה ותבדוק אם מסומן וי בשורה שמודגשת בכחול

(שים לב גם לשורה השלישית מלמטה - "הצג תמיד סמלים אף פעם לא תמונות ממוזערות")

הסקריפט עודכן - י' ניסן תשפ"ב

3.0 מבטל חסימת קבצים.bat

בגרסה זו התווספה אופציה לתזמון אוטומטי של ביטול חסימת קבצים בכל כניסה של המשתמש לחשבון.
התוכנית תפעל ברקע ללא צורך בהתערבות המשתמש.
וכמובן, אפשר לבטל את התזמון בכל שלב.

מה שהסקריפט הזה עושה זה לבטל חסימה של תוכנות וקבצים שהורדו מהאינטרנט ולא ניתנים להפתח בלי שינוי במאפיינים שלהם.
הסקריפט מבטל חסימה גם של מאות קבצים בשניות ספורות!

חשוב: גרסה זו מחייבת הרשאות מנהל. למשתמשים רגילים מצורפת בזה גם הגרסה הישנה.

2.0 מבטל חסימת קבצים.bat

זה קצת ישן. אבל למי שיתקל בפוסט בעתיד, ניתן להשתמש בספריית pyluach:

התקנה:

pip install pyluach

הקוד המתאים:

from pyluach import dates
import datetime

# קבלת התאריך הלועזי הנוכחי
today_gregorian = datetime.date.today()

# המרת התאריך הלועזי לתאריך עברי
hebrew_date = dates.GregorianDate(today_gregorian.year, today_gregorian.month, today_gregorian.day).to_heb()

# הצגת התאריך העברי בפורמט עברי
hebrew_date_str = hebrew_date.hebrew_date_string()
print(f"התאריך העברי היום הוא: {hebrew_date_str}")

התוצאה במקרה שלנו:

התאריך העברי היום הוא: י״ד כסלו תשפ״ה

הרעיון די פשוט והוא עלה בדעתי תוך כדי הדיון כאן. הביצוע ברובו הוא צ'אט GPT. קוד פייתון כמובן.

import string

def create_dict():
    # Initialize an empty dictionary
    ascii_dict = {}

    # Loop through numbers from 0 to 99
    for num in range(100):
        # Convert the number to a two-digit string
        num_str = f"{num:02d}"
        
        # Get the corresponding ASCII character using the number as an index
        ascii_char = string.printable[num]
        
        # Add the number and its corresponding ASCII character to the dictionary
        ascii_dict[num_str] = ascii_char

    return ascii_dict



def hash_phone(phone_number):
    # Ensure the input phone_number is a string of 8 digits
    if not isinstance(phone_number, str) or len(phone_number) != 8 or not phone_number.isdigit():
        raise ValueError("Invalid phone number. Please provide an 8-digit string of numbers.")

    # Create the dictionary (you can use your 'create_dict' function here)
    ascii_dict = create_dict()

    # Initialize an empty string to store the resulting ASCII characters
    ascii_result = ""

    # Convert each pair of digits to corresponding ASCII characters
    for i in range(0, len(phone_number), 2):
        num_pair = phone_number[i:i + 2]
        if num_pair in ascii_dict:
            ascii_result += ascii_dict[num_pair]
        else:
            raise ValueError(f"No dictionary entry found for {num_pair}")

    return ascii_result

def unhash_phone(ascii_code):
    # Ensure the input is a string of 4 ASCII characters
    if not isinstance(ascii_code, str) or len(ascii_code) != 4:
        raise ValueError("Invalid ASCII code. Please provide a string of 4 ASCII characters.")

    # Create the dictionary (you can use your 'create_dict' function here)
    ascii_dict = create_dict()

    # Initialize an empty string to store the resulting number
    phone_number = ""

    # Convert each ASCII character back to the original number pair
    for char in ascii_code:
        found = False
        for num_pair, ascii_char in ascii_dict.items():
            if ascii_char == char:
                phone_number += num_pair
                found = True
                break

        if not found:
            raise ValueError(f"No dictionary entry found for ASCII character: {char}")

    # Convert the resulting string of number pairs back to an integer
    return phone_number



code = hash_phone('48416227')
print(code)
print(unhash_phone(code))

המרת מספר טלפון לטבלת ASCII.py

@חגי כתב בקוד נגדי קצר:

הקוד הנגדי חייב להיות מספרים?

אם משתמשים בקודי ascii אפשר ליצור מ-8 ספרות קוד של 4 ספרות, ולהמיר אותם בחזרה למספר

לדוגמה (בהנחה שמורידים את שתי הספרות הראשונות):

rg`y = 27168934

MF!r = 48416227

(יש ברשותי את הקוד המלא אם יהיה בזה עניין למישהו)

@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:

@NH-LOCAL ומכאן גם החסרון הענק שלו. בנאדם חוץ מההבנה יש לו גם יידע ואחסון ענק אם לAI יש רק הבנה הוא יכול להמציא עובדות הגיוניות מאד אבל כלל לא נכונות כי הוא רק למד לחשוב בהיגיון מבלי יכולת לאמת אותה בכל תשובה.

בדיוק בשביל זה גם מיקרוסופט עם בינג וגם גוגל עם בארד, משלבים יכולות חיפוש באינטנרט עם מודל שפה.

עריכה: חשוב לציין, שבלמידת מכונה באופן כללי (לאו דוקא מודל שפה), כל הרעיון הוא לזהות מידע חדש, שעדיין לא קיים במודל. למשל, במודל שמזהה שמות של מקומות בתוך טקסט, הוא יכול לחשב מה נראה כמו שם של מקום לפי הסגנון. מה שחוסך את הצורך ליצור מאגר שלם עם רשימה של שמות מקומות, וגם עוזר למערכת לזהות שמות חדשים שלא היו קיימים במאגר ידני.

@one1010 כתב בכך תריצו מודל שפה חזק על המחשב הביתי שלכם:

התחלתי לקרוא את המאמר שצירפו כאן אבל עדיין לא נראה לי שזה רק עניין של התסברות של המילה הבאה. כי מעבר להסתברות הוא מביא תשובות הגיוניות ומבין את השאלה.

ליתר דיוק - הסתברות של המילה הבאה בהתחשב למשפט שהזנת לו. (אני גם לא מבין מה זה בדיוק אומר, אבל כך זה עובד)

זה הרבה יותר עמוק מזה להבנתי

ככלל, העומק הגדול ביותר טמון לפעמים, דוקא בפשטות הגדולה ביותר

@נהראל אין קל מזה. מקש ימני. "ערוך".
(אגב, משתמש מתחיל לא קשור כל כך... תבדוק רגע את המוניטין שלי...)

@אביי כתב בלמה אני לא משתמש ב Chat openai:

@NH-LOCAL זה נכון ולא נכון. למעשה @dovid צודק וגוגל אכן לא מיועד לשאלות, אבל זה לא סותר את העובדה, שגוגל יודעת למצוא פרומפטים של מידע מסויים ולענות אותו כתשובה ולא כתוצאת חיפוש, כמו שאלות על גיל של ידוענים, עיסוק, המרת מט"ח, משוואות וכו'..

להפוך את גוגל לעונה לשאלות בגלל זה זה כמו להפוך אותו למתחרה בגלל שהוא יודע להוציא (בדרך כלל ) את נושא ובעיית השאלה ולהביא לך שאלות דומות בשפה או בניסוח שונה..

ולדעתי פה בדיוק נכנס הבינג החדש, שהופך שאלה בניסוח חופשי לשאילתת חיפוש שמתאימה למנוע החיפוש, ומתמצת את התוצאות שמוחזרות לתשובה בשפה אנושית...

וזה בעצם בדיוק מה שאמרתי במשפט וחצי לעיל...

אתה יכול להיווכח שגוגל בהחלט מותאמים גם לשאלות. אם כי הרבה פחות. (זה עוד אחד החסרונות - הצורך לדעת איך להתנסח בדיוק)

---

ניסיון ממש מעכשיו שמראה את ההבדל העצום בין שני השירותים:
בינג מול גוגל - הראשון עונה לעניין, השני מבלבל את המח לגמרי

גוגל

חיפוש פשוט בגוגל יתן לך את התשובה.

https://leshoniada.co.il/2022/06/10/שיאי-גינס-בתנך-חלק-א/

https://www.tora-forum.co.il/threads/הפסוק-הארוך-בתנ-ך.4710/

ספוילר: זה באסתר פרק ח' פסוק ט'

@שרה-רחל כתב בBeeWare:

@NH-LOCAL איך מצאתם את הקשור?
בעקרון במקביל השאלה היתה רשומה גם בשאלה אחרת שהעליתי וענו לי שם כי יתכן שהבעיה קרתה כי בנתיב יש לי אותיות בעברית
והתברר שזה היה הפתרון ב"ה
אבל עדיין למקרה אחר חשוב לי להבין איך מצאתם את הקשור הורדה של גרסה קודמת בפייתון
תודה

בעקרון התשובה לשאלה פשוטה מאוד - חיפוש גוגל באנגלית.

כל מה שהיה צריך זה לחפש משהו בסגנון:

PYTHON 3.7 DOWNLOAD

בקרוב: גרסה 10.0 בעיצוב גרפי חצי מלא (התמונה מתעדכנת ישירות מגיטהאב)

למי מאתנו אין תיקיית הורדות עמוסה לעייפה בתמונות, סרטונים תוכנות וכו'.
הסקריפט המצורף פשוט מסדר את הקבצים הבודדים לפי סוג.
השימוש מאוד פשוט: לבחור בין 1 ל-2 כשמפעילים את הקובץ.
אם בחרתם 2, יש לגרור תיקיה רצויה לתוך החלון ולהקיש אנטר.

הסקריפט עודכן עם פונקציה חדשה, המאפשרת לסדר גם תיקיות שלמות ולא רק קבצים בודדים

‏‏‏‏מסדר ההורדות 6.1.bat

למאגר בגיטהאב הכנסו לכאן