API לקבלת רשימת דפים וסימנים בספרי היסוד התורניים

[NH.LOCAL]

לצורך אפליקצייה מסויימת שאני בונה אני צריך רשימה של מספר הפרקים / דפים / סימנים בספרי היסוד התורניים.

האם יש API דרכו ניתן לבצע זאת? הבנתי שניתן לעשות זאת עם ה-API של ספריא, אבל בפועל לא ממש הסתדרתי עם זה

[dovid]

אפשר לעשות זאת עם סקריפט בדומה למה שהראיתי (וגם @צדיק-תמים) פה:
https://tchumim.com/topic/15896/בקשה-רשימת-דפים-סימנים-שמתחילים-בהם-פרקים-נושאים-בשס-טושע

אולי זה עבודה אבל זה גם כיף :).

[האדם החושב]

@NH-LOCAL
https://github.com/lisrael1/bavli_pages
זה לש"ס, לשאר הספרים אם יש לך את אוצריא אתה יכול פשוט לשאוב משם את הנתונים לפי רמות הכותרות.

[NH.LOCAL]

ניסיתי משהו דומה על בסיס אוצריא. בפועל כבר יותר פשוט לבדוק את המידע ידנית

[האדם החושב]

@NH-LOCAL
למה?, סקריפט מאוד פשוט

from bs4 import BeautifulSoup

def get_toc(file_path, level = 2):
    with open(file_path, "r", encoding="utf-8") as f:
        content = f.read()
    soup = BeautifulSoup(content, "html.parser")
    list_all = list(tag.string for tag in soup.find_all(f"h{level}"))
    return list_all

אגב אתה יכול להשתמש גם בapi של מדיה ויקי, משהו בסגנון הזה:

def get_list_by_category(category: str)->list:
    """מחזיר רשימת דפים שנמצאים בקטגוריה מסוימת."""
    i = 0
    pages = []
    cmcontinue = ''
    while True:
        i += 1
        params = {
            'action': 'query',
            'list': 'categorymembers',
            'cmtitle': category,
            'cmtype': 'page',
            'cmlimit': 'max',
            'format': 'json',
            'cmcontinue': cmcontinue
        }
        response = requests.get(BASE_URL, params=params)
        data = response.json()
        if 'query' in data and 'categorymembers' in data['query']:
            pages.extend([page["title"] for page in data['query']['categorymembers']])
        else:
            print("Error fetching pages:", data) 
            break
        if 'continue' not in data:
            break
        cmcontinue = data['continue']['cmcontinue']
        print(f"Fetching pages: batch {i}")
    return pages

[NH.LOCAL]

הבעיה באוצריא שיש חוסר עקביות ברמת הכותרות. למשל, שמתי לב שהסימנים בשולחן ערוך מוגדרים כ-H2, אבל באבן העזר הם מוגדרים כ-H3, מה שיצר טעות בזיהוי המספר (השתמשתי בניתוח פשוט של קבצי הטקסט, לא עם bsoup)

[pcinfogmach]

@NH-LOCAL
כדי להתגבר על חוסר העקביות ברמות הכותרות, אפשר להשתמש במבנה היררכי, כמו Stack, כדי לעקוב אחר ה-parent האחרון. כך ניתן לתקן את רמת הכותרת בהתאם להקשר ולהבטיח זיהוי נכון של המספרים והכותרות.

[NH.LOCAL]

למי שיראה את השרשור הזה, ניתן לקבל נתוני פרקים ואורך של ספרי יסוד במערך הנתונים שפרסמתי ב-HF

https://huggingface.co/datasets/NHLOCAL/judaic-texts-structure

[יגעתי ומצאתי]

@NH.LOCAL
ואוו בדיוק הייתי צריך את זה היום
השגחה פרטית!

[mendel]

מעניין @NH.LOCAL כי בדיוק פרסמתי במתמחים אפליקציה דומה שבניתי.

(אולי יש פה תחרות . )

אז יש לי את המידע לרוב. תגיד אם אתה צריך משהו/ספר ספיציפי

[NH.LOCAL]

@mendel כתב בAPI לקבלת רשימת דפים וסימנים בספרי היסוד התורניים:

מעניין @NH.LOCAL כי בדיוק פרסמתי במתמחים אפליקציה דומה שבניתי.

(אולי יש פה תחרות . )

אז יש לי את המידע לרוב. תגיד אם אתה צריך משהו/ספר ספיציפי

אדרבה. תחרות זה מצוין. (בטח במשהו שגם ככה לא נוצר למטרות רווח )
אם יש לך את הנתונים בצורה מסודרת, אולי כדאי שתפרסם אותם איפשהו כקוד פתוח, ב-HF או בגיטהאב

אם כי למעשה את אפליקציית שמור וזכור יצרתי כבר לפני קרוב לשנה