דילוג לתוכן
  • דף הבית
  • קטגוריות
  • פוסטים אחרונים
  • משתמשים
  • חיפוש
  • חוקי הפורום
כיווץ
תחומים

תחומים - פורום חרדי מקצועי

💡 רוצה לזכור קריאת שמע בזמן? לחץ כאן!
  1. דף הבית
  2. תכנות
  3. איך לזהות על ידי תוכנה קישורים בספרי קודש ?

איך לזהות על ידי תוכנה קישורים בספרי קודש ?

מתוזמן נעוץ נעול הועבר תכנות
15 פוסטים 6 כותבים 1.4k צפיות
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • pcinfogmachP מנותק
    pcinfogmachP מנותק
    pcinfogmach
    כתב ב נערך לאחרונה על ידי pcinfogmach
    #1

    מכיוון שהנושא לכשעצמו לא ברור לי דיו אני כותב שאלה לא ברורה בתקוה שמתוך הדיון לכשעצמו הדברים יתבהרו - מה ריאלי ומה לא - תודה מראש.

    אני מחפש עצה איך ניתן לזהות קשורים בשביל התוכנה שלי - תורת אמת בוורד
    בדומה למה שיש בבר אילן ומה שנקרא בלעז "קשוריות" - שאם לוחצים על קישור |(מראה מקום) זה יוביל לפתיחת ספר במיקום הזה.

    הקושי שלי הוא בעצם איך להשוות קישורים שאינם מדוייקים:

    כלומר פורמט הכותרות בתוכנה שלי הוא מתתמיד על ידי הפרדה של פסיקים
    לדוגמא: בראשית, פרשת בראשית, פרק ד, טו
    בספרי תורת אמת הקישורים מופיעים בכל מיני פורמטים:
    לבינתיים אני עובר אחד אחד ומנסה לזהות את הפורמט השאלה שלי אפ יש משהו יותר כללי שאפשר ליישם שתחסוך לי את כל הטירחה הזו? או שלכה"פ ישמש אותי כאשר לא הצלחתי לדמות בצורה מרובעת את הקישורים.

    גמ"ח מידע מחשבים ואופיס

    תגובה 1 תגובה אחרונה
    1
    • WheneverW מנותק
      WheneverW מנותק
      Whenever
      כתב ב נערך לאחרונה על ידי
      #2

      אולי עם REGEX?

      pcinfogmachP תגובה 1 תגובה אחרונה
      0
      • pcinfogmachP מנותק
        pcinfogmachP מנותק
        pcinfogmach
        השיב לWhenever ב נערך לאחרונה על ידי pcinfogmach
        #3

        @Whenever
        רגקס בהחלט עוזר אבל איזה רגקס אולי למישהו יש רעיון בתור התחלה?
        אומר את האמת אני לא מוצא את ידי ורגלי למרות שכרגיל אני די טוב עם רגקס משהו פה מבלבל אותי

        בעיקרון אם מדובר בקישור פשוט כמו בראשית א יג לא משנה איך זה אמור להיות קל לזהות
        אבל לא תמיד שם הספר הוא רק מילה אחת לדוגמא דברי הימים א
        כאן יש כבר מורכבות נוספת כי איך התוכנה תדע שמדובר בא של שם הספר ולא של הפרק.

        גמ"ח מידע מחשבים ואופיס

        תגובה 1 תגובה אחרונה
        1
        • WheneverW מנותק
          WheneverW מנותק
          Whenever
          כתב ב נערך לאחרונה על ידי
          #4

          היה שרשור עם בעיה דומה באקסל, רצו להשוות בין שתי טבלאות שלפעמים טבלה אחת הכילה רק חלק מהמילה בטבלה שניה. לדוגמא להשוות בין "סוכר" ל"מסוכר"
          https://tchumim.com/topic/15991/אקסל-יבוא-סיווג-לפי-תנאי-מכיל?_=1712086562462

          אולי תוכל לדלות מפה רעיון

          pcinfogmachP תגובה 1 תגובה אחרונה
          1
          • pcinfogmachP מנותק
            pcinfogmachP מנותק
            pcinfogmach
            השיב לWhenever ב נערך לאחרונה על ידי
            #5

            @Whenever
            יש פה מורכבות מסויימת שלא חשבתי עליה.
            מכיון שהתוכנה שבניתי היא דינאמית - אין לה מסד נתונים כלל - הכל נבנה במקום עם פתיחת הקובץ. כך שאין לי כותרות מוכנות להשוות אליהם מראש. (שמות ספרים יש לי רשימה כי הם נטענים עם טעינת התוכנה אבל לא כותרות)

            גמ"ח מידע מחשבים ואופיס

            WheneverW ד 2 תגובות תגובה אחרונה
            1
            • ד מנותק
              ד מנותק
              דאציג
              השיב לpcinfogmach ב נערך לאחרונה על ידי
              #6

              @pcinfogmach אולי לעשות רשימת כותרות שתשמר היכן שהוא בתוסף.

              תגובה 1 תגובה אחרונה
              0
              • WheneverW מנותק
                WheneverW מנותק
                Whenever
                השיב לpcinfogmach ב נערך לאחרונה על ידי
                #7

                @pcinfogmach כתב באיך לזהות על ידי תוכנה קישורים בספרי קודש ?:

                @Whenever
                יש פה מורכבות מסויימת שלא חשבתי עליה.
                מכיון שהתוכנה שבניתי היא דינאמית - אין לה מסד נתונים כלל - הכל נבנה במקום עם פתיחת הקובץ. כך שאין לי כותרות מוכנות להשוות אליהם מראש. (שמות ספרים יש לי רשימה כי הם נטענים עם טעינת התוכנה אבל לא כותרות)

                זה הרבה מעל הידיעות שלי:)

                בכל אופן מעניין אותי למה צריך שיהיה קישור מדויק?
                שעושים חיפוש בגוגל, המנוע מנסה לדייק לפי המידע שמזינים, לפעמים זה בדיוק ולעיתים לא קשור. האם הקישורים צריכים להיות בדיוק?
                נראה לי שיותר קל לנסות לקלוע מאשר לבנות מערכת שתמיד קולעת.

                pcinfogmachP תגובה 1 תגובה אחרונה
                0
                • pcinfogmachP מנותק
                  pcinfogmachP מנותק
                  pcinfogmach
                  השיב לWhenever ב נערך לאחרונה על ידי
                  #8

                  @Whenever
                  היעילות של קישוריות תלויה בדיוק: קישוריות איננה מנוע חיפוש אלא קפיצה קלה למיקום מסויים. אם הקפיצה נהיית מסובכת אנשים פשוט לא ישתמשו בה. אפשרות חיפוש כותרות ודאי שכבר יש בתוכנה.

                  גמ"ח מידע מחשבים ואופיס

                  תגובה 1 תגובה אחרונה
                  2
                  • pcinfogmachP מנותק
                    pcinfogmachP מנותק
                    pcinfogmach
                    כתב ב נערך לאחרונה על ידי pcinfogmach
                    #9

                    בגדול אם אני יכול לזהות שם ספר בצורה נכונה זזה כבר ייעל את זה בהרבה - איפה הסיבוך:
                    יש ספרים עם שמות זהים: לדוגמא - ברכות
                    יכול הליות בבלי ברכות או משנה ברכות
                    או יותר גרוע בראשית
                    יש המון ספרים שכוללים בתוך השם שלהם את המילה בראשית (בהצחלה בסוף או באמצע). איך התוכנה תידע באיזה בראשית מדובר?? במקרה הזה כמובן אפשר לעשות ברירת מחדל שיצביע לחומש אבל שוב זה אומר הרבה hardcoding אני מחפש צורה דינאמית שתחפה על המקרים שלא עשיתי בצורה ישירה

                    גמ"ח מידע מחשבים ואופיס

                    תגובה 1 תגובה אחרונה
                    1
                    • I מנותק
                      I מנותק
                      ivrtikshoret
                      כתב ב נערך לאחרונה על ידי
                      #10

                      כאשר הלקוח לוחץ על ברכות א
                      צריך להביא לו גם את גמרא ברכות דף א וגם משניות מסכת ברכות פרק א וכן כל ספר שיכול להתאים

                      pcinfogmachP תגובה 1 תגובה אחרונה
                      1
                      • pcinfogmachP מנותק
                        pcinfogmachP מנותק
                        pcinfogmach
                        השיב לivrtikshoret ב נערך לאחרונה על ידי
                        #11

                        @ivrtikshoret
                        הממ רעיון מעניין...

                        גמ"ח מידע מחשבים ואופיס

                        O תגובה 1 תגובה אחרונה
                        0
                        • O מנותק
                          O מנותק
                          one1010
                          השיב לpcinfogmach ב נערך לאחרונה על ידי one1010
                          #12

                          @pcinfogmach אם הבנתי נכון את הבעיה שלך אז יש מודל של ספריא שפותר את הבעיות האלו.

                          נראה לי שאלו הקישורים:
                          https://huggingface.co/Sefaria/he_subref_ner

                          https://huggingface.co/Sefaria/he_ref_ner?text=ירושלמי+פאה+כג+ע"ד

                          https://huggingface.co/Sefaria/he_ref_ner/blob/main/he_ref_ner-any-py3-none-any.whl

                          ייתכן וטעיתי בקישורים... אם זה חשוב אני יכול יותר לעיין.

                          עריכה: כעת אני רואה שאתה מחפש להבין את הפורמט הקיים. לכאורה המודל לא מכוון לזהות פורמט קיים אלא רק מחפש מתוך המילים מהו מקור.
                          לא יודע אם זה יעזור לך או לא.
                          אולי כדאי לשתף פעולה בין תוסף תורת אמת לבין אוצריא כדי להגיע לתוצאה שתהיה טובה ל2 הפרויקטים...

                          תגובה 1 תגובה אחרונה
                          1
                          • sivan22S מנותק
                            sivan22S מנותק
                            sivan22
                            כתב ב נערך לאחרונה על ידי
                            #13

                            לספריא יש פרוייקט רציני בנושא, בשילוב שני מודלים של בינה מלאכותית, אחד מסמן טקסט שנראה כמקור, והשני מפרק אותו לגורמים. ואחר כך יש אלגוריתמים למצוא את המקור המדוייק ברמת ודאות גבוהה (ואם אין ודאות לא מקשרים). הקוד נמצא כאן, אבל אני לא עברתי על כולו ולא בטוח שאני מבין איך זה עובד: https://github.com/zevisvei/Sefaria-Project/tree/master/sefaria/model/linker

                            אגב הם קוראים לזה linker ויש להם גם API לכל מי שרוצה להפוך דף אינטרנט שיש בו דברי תורה, לקישורים אוטומטיים לספריא.

                            O תגובה 1 תגובה אחרונה
                            3
                            • sivan22S מנותק
                              sivan22S מנותק
                              sivan22
                              כתב ב נערך לאחרונה על ידי
                              #14

                              דווקא הקוד של הטסט מעניין לראות את היכולות של האלגוריתם. https://github.com/zevisvei/Sefaria-Project/blob/master/sefaria/model/linker/tests/linker_test.py

                              תגובה 1 תגובה אחרונה
                              1
                              • O מנותק
                                O מנותק
                                one1010
                                השיב לsivan22 ב נערך לאחרונה על ידי
                                #15

                                @sivan22 כתב באיך לזהות על ידי תוכנה קישורים בספרי קודש ?:

                                אגב הם קוראים לזה linker ויש להם גם API לכל מי שרוצה להפוך דף אינטרנט שיש בו דברי תורה, לקישורים אוטומטיים לספריא.

                                אני עשיתי ניסיון על דף [המרתי וורד לHTML] והתוצאות היו חלקיות ולא מספקות. הוא גם עשה את העבודה רק על החלק הראשון של הדף ['הדף' שלי היה של יותר מ100 עמודים] ככה שאולי הוא מוגבל לכמות עמודים.

                                תגובה 1 תגובה אחרונה
                                0

                                בא תתחבר לדף היומי!
                                • התחברות

                                • אין לך חשבון עדיין? הרשמה

                                • התחברו או הירשמו כדי לחפש.
                                • פוסט ראשון
                                  פוסט אחרון
                                0
                                • דף הבית
                                • קטגוריות
                                • פוסטים אחרונים
                                • משתמשים
                                • חיפוש
                                • חוקי הפורום