בירור | מחפש כלי פשוט לסיווג הורדות

[מטעמים]

שלום.

אני זקוק להוריד מדי שבוע רשימה שלמה של קבצים מסוימים ברשת.
חלקם בפורמט PDF
חלקם בפורמט CSV

המכנה המשותף לכולם, שלכל קובץ יש את אותו קישור תמיד (רק התוכן הפנימי בתוך הקובץ משתנה מדי שבוע)
ההורדה השבועית מצריכה סבלנות רבה, כי כל פעם מחדש אני צריך להגדיר את שם הקובץ ואת שם התיקיה במחשב שבה אני מעוניין לשמור את הקובץ.

אני מחפש כלי יעיל, שיתן לי אופציה להגדיר לכל קישור שאני טוען בדפדפן - שבאופן אוטומטי יוריד אותו עם שם מוגדר וגם לתוך תיקיה מוגדרת במחשב.

תודה רבה לעונים!

[dovid]

תקליד בתפריט ההתחלה ISE,
תפתח את Windows PowerShell ISE
תדביק בחלון שמה את הטקסט הבא:

$URLS = (
"https://tchumim.com/assets/uploads/files/1682845675232-start.html",
"https://tchumim.com/assets/uploads/files/1655157220832-dupfinder.7z"
)

$path="D:\מידע שבועי\$((Get-Date).ToString('yyyy-MM-dd'))\"
[System.IO.Directory]::CreateDirectory($path);


foreach ($url in $URLS) {
    $res = Invoke-WebRequest -URI $URL
    $filename = $res.Headers.'Content-Disposition' -replace '.*\sfilename="?([^"]+)"?(?: |"|$)', '$1'
    $stream = $res.RawContentStream
    $fileStream = New-Object System.IO.FileStream("$path$filename", [System.IO.FileMode]::Create, [IO.FileAccess]::Write)
    $stream.CopyTo($fileStream)
    $stream.Dispose()
}

תשנה בשורות הראשונות לרשימה של לינקים שלך (שים לב למרכאות נכונות ולפסיק לפני כל שורה נוספת).
בשורה 6 תשנה את תחילת הנתיב לתיקיה המתאימה לך,
ותריץ (בעזרת הכפתור כמו Play) ותראה אם זה עושה את העבודה. אם זה טוב עליך לשמור את זה וללחוץ לחיצה כפולה על הקובץ כל שבוע להפעלה.

[מטעמים]

@dovid תודה רבה על ההשקעה בתשובה, אבל זה לא מה שאני מחפש.

אני צריך משהו שיושב על הדפדפן עצמו.
כנראה שאני צריך יותר לדייק את הצורך שלי:
אני צריך להוריד דוחות (CSV,PDF) משרת כלשהו שהכניסה אליו על ידי שם משתמש וסיסמה. האתר ההוא מזהה אוטומטי את המשתמש ומאפשר לו להוריד קבצים רק באותו סשן פתיחה של הדפדפן. כלומר, בכרטיסיה אחת אני פותח את הדשבורד כניסה , רק לאחר הקשת שם משתמש וסיסמה, יש לי את היכולת להוריד לפי סדרת קישורים שאני מכניס לו כך:

כעת מגיע הצורך שלי:
הדפדפן אמנם פותח לי את כל 14 הכתובות, אבל אני צריך באופן ידני לקבוע לו איזה שם לתת לכל דוח.
אני מנסה לברר אם יש איזה תוסף שעושה את העבודה, כלומר, שאומר לדפדפן שבמקרה שאכנס לכתובת מסוימת הדוח יוכל לרדת למחשב עם שם מוגדר כבר.

ושוב תודה על ההשקעה,
(אין לי ציפייה שיכתבו לו כאן קוד שלם רק לכוון אותי אם יש כזה תוסף או קוד שניתן לכתוב אותו בפייתון או ב-JS)

[WWW]

@מטעמים כתב בבירור | מחפש כלי פשוט לסיווג הורדות:

משרת כלשהו שהכניסה אליו על ידי שם משתמש וסיסמה

כנראה יש אפשרות לספק לסקריפט הנ"ל את שם המשתמש והסיסמה וזה יעשה לך את כל העבודה...

[מטעמים]

@WWW כתב בבירור | מחפש כלי פשוט לסיווג הורדות:

כנראה יש אפשרות לספק לסקריפט הנ"ל את שם המשתמש והסיסמה וזה יעשה לך את כל העבודה...

עדיין, זה לא עונה על הצורך שלי. א. השם והסיסמה משתנים מדי כמה ימים ב. אני מוריד עבור כמה מסדי נתונים שונים שלכל אחד מהם שם וסיסמה אחרים.

אני צריך משהו שפועל על הדפדפן עצמו.

[dovid]

@מטעמים כתב בבירור | מחפש כלי פשוט לסיווג הורדות:

עדיין, זה לא עונה על הצורך שלי. א. השם והסיסמה משתנים מדי כמה ימים

אפשר להוסיך את בקשת הסיסמה בסקריפט...

ב. אני מוריד עבור כמה מסדי נתונים שונים שלכל אחד מהם שם וסיסמה אחרים.

אני כבר מתחיל להסתקרן....

נעבור לכיוון שאתה מצפה, שמתוך כרום תהיה אוטומציה של ניתוב הורדות לתיקיות מסויימות.
אני לא יודע כמה תוסף יכול לעשות בשטח זה,
בדוק את זה https://chrome.google.com/webstore/detail/regexp-download-organizer/oamembonjndgangicfphlckkdmagpjlg
(לא פתוח לי בינתיים בנטפרי).

[מטעמים]

תודה. זה כנראה בדיוק מה שאני צריך.

אבל משום מה התוסף הזה לא עובד כלל. אני מזין את כל הפרמטרים הדרושים וזה לא מגיב כנדרש.

[dovid]

@מטעמים
בדקתי את התוסף, הוא מדהים אבל הוא מיועד כמעט למתכנתים...
כל השדות חוץ מתיקיית היעד הם ביטויי Regex, מה שאומר שכתובת אינטרנט רבות יהיו טקסט לא חוקי או לא יתאימו.
שנית, אל תמלא את כל השדות, תמלא את השדה הקובע בלבד,
אם עדיין לא עובד תעשה טסטים על הורדות אחרות (אני ניסיתי למשל על ההורדות דלעיל לפי כתובת ולפי שם קובץ ועבד מצויין)
שים לב שתיקיית היעד צריכה להיות קיימת (יש ליצור אותה בתיקיית ההורדות, אי אפשר במקום אחר!)
וגם יש לשים / בסוף הנתיב של תיקיית היעד אם לא רוצים להחליט על שם הקובץ אלא להשאיר את שמו המקורי.

[מטעמים]

@dovid תוכל בבקשה (אם לא מסובך לך) להעלות צילום מסך של הפרמטרים מהאופציה שכן הצלחת?

כזה:

(פתחתי תיקיה בשם "AAA" בתיקיית הורדות, ועדיין זה לא עובד)

[dovid]

השדה Filename אין הכונה מה השם שאתה רוצה שיהיה, אלא זה חלק מהתנאים, שהתנאי יחול רק כשהשם שהשרת קובע זהה לXYZ, במקרה הזה תשאיר ריק או תכתוב start.html.
בשדה היעד, הלוכסן צריך להיות אחרי הAAA, ולא לפני.

[מטעמים]

עשיתי כאשר כתבת ועדיין זה לא עובד...

[dovid]

@מטעמים

[מטעמים]

@dovid תודה רבה. עובד לי יפה מאוד.

(כנראה שהבעיה היתה בסוג הסלש. )