עזרה | סקריפט באש למחיקת קבצים מורכבת

רפאל

@yossiz אמר בעזרה | סקריפט באש למחיקת קבצים מורכבת:

php << EOF
// your code here
EOF

למי שתהה לגבי התחביר מדובר בHere Document המהווה כלי שימושי בין השאר להצבת מחרוזות מרובות שורות לתוך משתנים, קבצים או Pipes.

התחביר:

[COMMAND] <<[-] 'DELIMITER'
  HERE-DOCUMENT
DELIMITER

הסבר התחביר בקצרה:

COMMAND	שם הקובץ\Pipe
[-]>> (Redirection Operator)	הפנית התוכן של הHERE-DOCUMENT לStdin של הפקודה שקדמה לאופרטור, באנלוגיה לInput Redirection העושה שימוש בסימן "קטן מ" (>) בודד: `cat < file` (וזאת מכיוון שהShell מתייחס לHERE-DOCUMENT כקובץ בפני עצמו [Stream Literal]). (הוספת מינוס לאופרטור אופציונלית ותגרום לShell להתעלם מטאבים פותחים בשורות הקלט)
DELIMITER	מחרוזת שתשמש כאינדיקציה לסיום קבלת הקלט (כדי שתתפרש כך, על המחרוזת להופיע בקלט כשורה בפני עצמה ללא רווחים פותחים או סוגרים)
HERE-DOCUMENT	הקלט (מחרוזות, משתנים וכן כל סוג אחר של Input)

דוגמא

cat << hello

העבר לcat את הקלט שתקבל, סיים את קבלת הקלט כשהמילה hello מופיעה.

dovid

@WWW תעשה פונקציה שמטפלת בתיקה בודדת.

מקבלת פרמטר את שם התיקיה
אוספת את כל הקבצים הישנים מחודש אחורה לתוך מערך אסוסיאציבי, שהמפתחות הם הסיומות.
עוברת בלולאה על איברי המערך הסוסיאציבי וא. ממיינת לפי שם בסדר יורד, ב. בודקת את אורך המערך, ג. מוחקת את הN הראשונים.

davidnead

בעבר עשיתי משהו דומה בשביל שימוש קלאסי להפליא: גיבוי מסדי נתונים בשרת.
התבססתי על סקריפט באש שמצאתי ברשת, ושכללתי אותו בהתאם לצרכים הקצת יותר מורכבים שלי.
בגדול הוא ממש לא טען את רשימת הקבצים מהתיקיה, אלא פשוט הריץ פקודות על כל הקבצים בתיקיה - עם פילטר מסוים.
כך נראה השורה הרלוונטית:

echo "Deleting zip files older than %retaindays% days now"
Forfiles -p %_destFolder%\ -s -m *.* -d -%retaindays% -c "cmd /c del /q @path"

אני חושב שזה מה שאתה מחפש. ואידך, זיל גמור.

dovid

@davidnead יש מצב שלא קראת את השאלה?

WWW

@dovid אמר בעזרה | סקריפט באש למחיקת קבצים מורכבת:

אוספת את כל הקבצים הישנים מחודש אחורה לתוך מערך אסוסיאציבי, שהמפתחות הם הסיומות.

יש דבר כזה בPHP? (בלי shell_exec)

dovid

@WWW
למה לא? אתה בודק את הזמן של הקובץ, מה הבעיה?
כתבתי את הפונקציה:

function dirHandel($dir, $until_date, $limit)
{
    $res_by_ext  = array();

    foreach (new DirectoryIterator($dir) as $fileInfo) 
        if ($fileInfo->getCTime() < $until_date) {
            $ext = $fileInfo->getExtension();
            if ($ext)
                $res_by_ext[$ext][] = $fileInfo->getFilename();
        }

    foreach ($res_by_ext as $file_type => $files_array) {
        rsort($files_array);
        for ($i = $limit; $i < count($files_array); $i++)  
            unlink($dir . DIRECTORY_SEPARATOR . $files_array[$i]);
    }

}


dirHandel("/dir/path/here", (new DateTime())->sub(new DateInterval('P30D'))->getTimestamp(), 100);

WWW

@dovid
תודה רבה על הקוד!
לא היית צריך לטרוח, פשוט לא הבנתי אותך נכון, חשבתי שאתה מדבר בלי DirectoryIterator.

אגב, הקוד לא בדיוק מתאים לי ככה, כי אי אפשר לבנות מערך של רק הקבצים הישנים, כי אני צריך להשאיר גם קבצים ישנים אם זה בתוך המכסה של 100 אחרונים.
אז אני כן אצטרך לעבור על כל הקבצים.
(כנראה שלא כתבתי ברור למעלה, כשכתבתי AND, התכוונתי שהתנאי למחיקה זה שיהיה ישן וגם לפני 100 אחרונים, ואתה הבנת: שהתנאי להשאיר שגם יהיה חדש וגם מה 100 האחרונים).

אגב 2, אני לא רואה פה פתרון ללולאה, כי כי יש לי 100 תיקיות כאלה, התכונת שאני אעבור על הפונקציה dirHandel עם לולאה?

אני מחפש דרך לטעון את כל מערכת הקבצים החל מתיקיה מסוימת למערך ותתי מערכים (כולל תאריך שינוי), ואז לעבור בקוד עם לולאה על התיקיות ואז עם לולאה על הקבצים, זה נראה לי יותר יעיל מלבצע עשרות אלפי קריאות למערכת הקבצים.

לא יודע איך עובד המתודה ->getCTime() האם בכל פעם הוא ניגש למערכת הקבצים או שזה שמור בזכרון?

dovid

@WWW אמר בעזרה | סקריפט באש למחיקת קבצים מורכבת:

פשוט לא הבנתי אותך נכון, חשבתי שאתה מדבר בלי DirectoryIterator.

אני לא התכוונתי כלום, כתבתי לך צעדים שלדעתי צריכים להיעשות, ואח"כ הייתי צריך לבדוק איך ליישם את זה בPHP.

אגב, הקוד לא בדיוק מתאים לי ככה, כי אי אפשר לבנות מערך של רק הקבצים הישנים, כי אני צריך להשאיר גם קבצים ישנים אם זה בתוך המכסה של 100 אחרונים.

זה אכן משאיר אותם.

(כנראה שלא כתבתי ברור למעלה, כשכתבתי AND, התכוונתי שהתנאי למחיקה זה שיהיה ישן וגם לפני 100 אחרונים, ואתה הבנת: שהתנאי להשאיר שגם יהיה חדש וגם מה 100 האחרונים).

זה מה שהבנתי. בשביל למחוק צריך גם שיהיה ישן וגם שיהיה יותר ממאה חדשים מאותו הסוג. אבל אני מבין שאתה מתכוון שאת המאה יש להרכיב מהחדשים והישנים יחדיו. לצערי לוקח לי הרבה זמן להבין אותך וגם כעת זה לא סופי, אבל כתבתי לך קוד שמעודכן להבנה הנוכחית (להלן).

אגב 2, אני לא רואה פה פתרון ללולאה, כי כי יש לי 100 תיקיות כאלה, התכונת שאני אעבור על הפונקציה dirHandel עם לולאה?

אכן, כמה פעמים בנושא זה שאמרתי לך שזה מה שכדאי לעשות.

אני מחפש דרך לטעון את כל מערכת הקבצים החל מתיקיה מסוימת למערך ותתי מערכים (כולל תאריך שינוי), ואז לעבור בקוד עם לולאה על התיקיות ואז עם לולאה על הקבצים, זה נראה לי יותר יעיל מלבצע עשרות אלפי קריאות למערכת הקבצים.

אין שום אלפי קריאות. בדרך שלי עוברים על כל קובץ פעמיים, בדרך שלך (וככה רציתי בהתחלה שתעשה אף שזה קוד מסובך יותר), עוברים על כל קובץ פעם אחת אבל חייבים לשמור הכל הכל בזיכרון עד לסיום הלולאה, וזה פחות יעיל בהרבה.

לא יודע איך עובד המתודה ->getCTime() האם בכל פעם הוא ניגש למערכת הקבצים או שזה שמור בזכרון?

כשעוברים על המערכת קבצים, כל פריט בתורו מתקבל עם שלל של מידע.
אין לי מושג אם זה עטינה עצלה או זריזה אבל בשום אלגוריתם שתעשה בכל שפה עילית, לא תימלט מלבדוק את הזמן פר קובץ.

dovid

קוד שתופס את המאה בלי תלות לזמן ורק לאחמ"כ לוקח בחשבון את הזמן, כלומר, בונה מאה הכי גבוהים מכל סוג, מוחק מי שישן וגם לא במאה הללו.

function dirHandel($dir, $until_date, $limit)
{
    $res_by_ext  = array();

    foreach (new DirectoryIterator($dir) as $fileInfo) {
        $ext = $fileInfo->getExtension();
        if ($ext)
            $res_by_ext[$ext][] = [$fileInfo->getFilename(), $fileInfo->getCTime()];
    }

    foreach ($res_by_ext as $file_type => $files_array) {
        usort($files_array, function ($a, $b) {
            return strcmp($a[0], $b[0]);
        });
        for ($i = $limit; $i < count($files_array); $i++)
            if ($files_array[$i][1] < $until_date)
                unlink($dir . DIRECTORY_SEPARATOR . $files_array[$i][0]);
    }
}

WWW

@dovid אמר בעזרה | סקריפט באש למחיקת קבצים מורכבת:

אבל אני מבין שאתה מתכוון שאת המאה יש להרכיב גם מהחדשים.

אכן.

לצערי לוקח לי הרבה זמן להבין אותך וגם כעת זה לא סופי, אבל כתבתי לך קוד שמעודכן להבנה הנוכחית.

אני ממש מצטער ומבקש את סליחתך, בפרט שכל תשובה אתה טורח לכתוב קוד בPHP...

אין שום אלפי קריאות.

יש, אבל כפי שכתבת:

אין לי מושג אם זה עטינה עצלה או זריזה אבל בשום אלגוריתם שתעשה בכל שפה עילית, לא תימלט מלבדוק את הזמן פר קובץ.

בכל מקרה אצטרך לקריאות האלה (בשביל תאריך שינוי) אם במוקדם אם במאוחר.

(אגב, זה רק אצלי שאין אפשרות ציטוט של חלק מהפוסט לאחרונה?)

A0533057932