סקריפט להורדת קבצים עם מספר רץ.

[yits]

איך אפשר ליצור סקריפט להורדת קבצים עם מספר רץ.
לדוגמא אם אני מעוניין להוריד דף מסוים מתןוך מסכת חולין בהיברו בוקס אני לוקח את הקישור הזה:
http://beta.hebrewbooks.org/pagefeed/hebrewbooks_org_36085_1.pdf

יש לנו את מס' הספר בסוף וגם את העמוד של הספר.
אם אני ירצה להוריד כמה דפים אני יצטרך לקדם את האינדקס ב 1 עד המספר שאני מעוניין.

בקיצור איך עושים את זה בצורה קלה.

[dovid]

Powershell
תפתח את העורך קוד שלו - תקליד ISE בתפריט המשימות.
תדביק את הקוד הבא:

For ($i=1; $i -le 10; $i++)
{
    $url = "http://beta.hebrewbooks.org/pagefeed/hebrewbooks_org_36085_$i.pdf"
    Invoke-WebRequest  $url -OutFile "c:\temp\$([System.IO.Path]::GetFileName($url))"
}

בשורת הFor יש 1 ו10 זה הטווח.
בשורה של url יש את הכתובת עם ה$i שמוחלף כל פעם במספר המתאים.

[yossiz]

bash one liner

wget http://beta.hebrewbooks.org/pagefeed/hebrewbooks_org_36085_{1..10}.pdf

[dovid]

@yossiz גם בps יש range אבל השימוש בו יותר מסורבל מבבש.
כמו"כ הקוד שלי לא מושלם כי השמירה פה תופסת את השם מהנתיב שזה לא הצורה בה הדפדפן עושה שזה לקחת מההידר content-disposition.

[Avi_av]

FlashGet עושה את אותה עבודה..
(לא תמיד צריך סקריפטים ו PS.. למרות שזה הרבה יותר מגניב..)
הורדה ישירה
אתר התוכנה

עריכה:
מקווה שאני זוכר נכון שזה קיים, עשיתי שימוש בזה דיי מזמן.

[dovid]

@Avi_av זה בדיוק הפוך, לא צריך תוכנות צד שלישי כמו FlashGet.

[yossiz]

@dovid אמר בסקריפט להורדת קבצים עם מספר רץ.:

‎$([System.IO.Path]::GetFileName

נהנתי, זה hack, אבל זה עובד (במקרה שאין ? או # בסוף), (תגיד תודה ל-unix ש-/ נחשב כ-directory seperator). מעניין שלא עמדו על כך פה

כמו"כ הקוד שלי לא מושלם כי השמירה פה תופסת את השם מהנתיב שזה לא הצורה בה הדפדפן עושה שזה לקחת מההידר content-disposition.

אם אני זוכר נכון, גם wget לא תומך ב-content-disposition אבל curl כן תומך.

עריכה: כנראה שאני לא זוכר נכון. ב-wget יש --content-disposition וב-curl יש -OJ

[yossiz]

@dovid אמר בסקריפט להורדת קבצים עם מספר רץ.:

@yossiz גם בps יש range אבל השימוש בו יותר מסורבל מבבש.

ואיך באמת זה נראה?

1..10|%{curl.exe -OJ "http://beta.hebrewbooks.org/pagefeed/hebrewbooks_org_36085_$_.pdf"}

נ. ב. כהיום curl מובנה בווינדוס 10. אם לא נמצא אפשר להוריד מפה

[yits]

במקרה שהקובץ הוא PDF ההורדה עובדת מצוין,
אבל מה עושים במקרה שזה JPG שהוא לא מוריד, אלא א"כ אתה עושה שמור בשם.

[yossiz]

@yits נסית ולא הלך?

[yits]

@yossiz זה מה שניסיתי

 1..10|%{curl.exe -OJ "https://tablet.otzar.org/he/book/getimg.php?width=0&book=602353&pag
e=$"}

[yossiz]

@yits

1..10 |%{curl.exe -o img$_.webp "http://tablet.otzar.org/he/book/getimg.php?width=0&book=602353&page=$_"}

[dovid]

@yossiz חזק! אבל הפסדת את השם, מספרים זה לא עסק להרבה הורדות.
תעשה כמה שורות זה לא עולה באמת כסף.

[yits]

@yossiz אמר בסקריפט להורדת קבצים עם מספר רץ.:

@yits

1..10 |%{curl.exe -o img$_.webp "http://tablet.otzar.org/he/book/getimg.php?width=0&book=602353&page=$_"}

ואיך עושים שזה יישמר כ JPG?
שם הקובץ לא חשוב כי אין שם באמת שם קובץ, אני צריך מספר רץ.

[yossiz]

@dovid אמר בסקריפט להורדת קבצים עם מספר רץ.:

אבל הפסדת את השם

אין שם לקובץ. אתה מתכוון לעשות עוד בקשה לקבל את שם הספר?

@yits לא תוכל להוריד בדרך זו יותר מ-40 עמודים ראשונים. אם יש לך חשבון, תצטרך להוסיף cookie.

ואיך עושים שזה יישמר כ JPG?

ממירים ל-jpg ע"י imagemagick וכדומה

[yits]

@yossiz אמר בסקריפט להורדת קבצים עם מספר רץ.:

@yits לא תוכל להוריד בדרך זו יותר מ-40 עמודים ראשונים. אם יש לך חשבון, תצטרך להוסיף cookie.

אני יצטרך באמת למצוא מישהוא עם שם משתמש פעיל, כדי להמשיך הלאה.

[yossiz]

@yits אני שם לב עכשיו שהאיכות של הקובץ באתר לא כמו בתוכנה. אני רואה שיבוש כמו מה שמתקבל מכיווץ JPEG.

אם זה לצורך ספר דפוס כדאי להשתמש בתוכנה. שם אין הכיווץ פוגע באיכות כי הוא jbig2 (ליתר דיוק JB2 של DJVU אבל זה אותו רעיון) שזה lossless. (אולי תוכל לשפר ע"י threshhold)

[yits]

@yossiz
אני צריך את זה לשימוש עצמי לא לצורך הדפסה.
מהתוכנה א"א להוציא את ספרי עוז והדר עשו עליהם הגנה מיוחדת (שאותה לא הצליחו לפרוץ, כמה שידוע לי), ספרים אחרים אני יודע להוציא/להדפיס גם מוגנים כדוגמת מכון ירושלים.