התייעצות לגבי שידרוג מערכת קיימת
-
בניתי לפני כמה שנים מערכת טלפונית (@dovid אל תכעס, זה לא שאלה על אסטריסק..). המערכת משמיעה שיעורים, מסודרים בתוך שלוחות, ואפשר כמובן גם להקליט שיעורים חדשים או תגובות של המאזינים, ויש למנהלים מרחב ניהול בו הם יכולים לאשר הודעות, למחוק, להעביר לתיקיות אחרות, וכו'.
בניתי את זה בצורה שכל הודעה שמכניסים לתיקייה, זה בודק מה המספר של ההודעה האחרונה שיש בתיקייה, ונותן לחדשה את המספר הבא. כשרוצים לשמוע קבצים מתוך תיקיה, זה טוען את כל רשימת הקבצים שיש בתיקייה, ומשמיע אותם אחד אחרי השני, עם אפשרות לעבור להודעה הבאה, קודמת, וכו'.עברו כמה שנים, והקו גדל מאוד. מאוד מאוד. יש שלוחות עם עשרים אלף קבצים, והמנהלים לא מוכנים למחוק שום דבר.
זה עולה הרבה כסף האיחסון, וגם מכביד על המערכת לטעון בכל כניסה לשלוחה את ה20K קבצים.אני רוצה לבנות את זה מחדש בצורה שונה, ורציתי להתייעץ מה הצורה הנכונה.
קודם כל אני חושב שלא כדאי להשתמש במסד נתונים כשלא חייבים, והייתי מעדיף להסתדר כמו שזה עד עכשיו בלי שום קשר למסד נתונים. מצד שני יש שיקולים אחרים שגורמים שאולי כן צריך מסד.לכאורה הצורה הנכונה היא שהקבצים יישמרו בS3, שהוא הרבה הרבה יותר זול מאכסון רגיל.
לצערי לא מצאתי פיתרון להשמיע קבצים מURL ישירות באסטריסק (לפי התיעוד זה אפשרי, אבל הספרייה שאמורה לטעון קבצים כנראה פגומה, זה נושא לאשכול אחר), אז אני עושה תיקיית קאש ובודק שם אם כבר הורדתי בעבר את הקובץ ואם לא, אז מוריד אותו עכשיו.
השאלה היא איך לקבל את רשימת הקבצים מתוך הBUCKET.
הפונקציות של חיבור לS3 נותנות לקבל רק אלף קבצים, ואין אפשרות לסנן לפי תאריך יצירה, כך שאני לא יכול למשוך רק הקבצים האחרונים. אולי אפשר להשתמש בPAGINATOR או משהו כזה ולמשוך בעשרים פעולות את כל רשימת הקבצים, אבל זה נשמע לי הרבה מאמץ בשביל זה.
השאלה אם כדאי להשתמש במסד נתונים, שם יהיה אינדקס של כל הקבצים, וכל פעולה של העתקה או מחיקה או יצירת קובץ חדש תירשם שם, מסודר לפי תיקיה, וכך כשארצה למשוך רשימת קבצים מתיקייה פשוט אמשוך את ה25 קבצים האחרונים, ואם מסיים אותם אני מושך את הרשימה של ה25 הבאים וכן הלאה.
הסיבה שאני לא אוהב את הפיתרון הזה הוא גם כי עד עכשיו הסתדרתי בלי מסד נתונים וחבל להזקק לו עכשיו סתם, וגם כי זה ידרוש פיתוח רציני לשנות את כל הצורה של המערכת שהכל יהיה מסונכרן תמיד במסד נתונים.מה דעתכם? איך היים ניגשים לזה?
תודה רבה -
ש שואף מחק נושא זה ב
-
ש שואף שחזר נושא זה ב
-
@שואף
יש כלים שיוצרים דיסק וירטואלי שמחובר לS3
אולי זה יפתור לך את הבעיה
https://github.com/s3fs-fuse/s3fs-fuse
https://github.com/kahing/goofys -
@שואף אמר בהתייעצות לגבי שידרוג מערכת קיימת:
הסיבה שאני לא אוהב את הפיתרון הזה הוא גם כי עד עכשיו הסתדרתי בלי מסד נתונים וחבל להזקק לו עכשיו סתם
עליך נאמר תלמידי חכמים אין להם מנוחה לא בעולם הזה ולא בעולם הבא שנאמר ילכו מחיל אל חיל
אתה לא יכול לערב את השיקול הזה בחיים!!!!!! אחרת תמצא את עצמך מחליד בתוך שלוש ארבע שנים.
עד היום יש לי את הניסיון הזה, למה ללמוד משהו חדש???
אבל אנחנו אסקמוסים, אין מקום לזקנים, ואין מקום לעייפים, אם אתה מתעייף אתה פשוט מת.
לגופה של השאלה שלך פסק הדין שלי הוא חד משמעי: מסד נתונים בלי שום סיג של מחשבה אחרת, זרוק את כל המחשבות הזרות, ואת כל הרהורי הפקפוק שלך בנושא.בהצלחה!
אידיאולוגיות גדולות נכנסות למטחנה של עולם המעשה ויוצאות ממנו בפירורים (ווינסטון צ'רצ'יל, סתם סתם, זה שלי)
-
@ארכיטקט אמר בהתייעצות לגבי שידרוג מערכת קיימת:
אסקמוסים
התוצאה היחידה של המילה הזו בגוגל, היא כאן בדף הזה... מה התכוונת להגיד?
בכל אופן תודה ל@aaron ו@ארכיטקט , אני מקבל את העיצה, ואלך על הכיוון הזה.
@nigun בדקתי לפני כמה שנים ויש איזה דיליי בכל פעם שנגשים לתיקייה הזו, כנראה שזה בגלך סוג שונה של מערכת קבצים. אני מעדיף לא להשתמש בזה.תודה לכולם.
-
@שואף אמר בהתייעצות לגבי שידרוג מערכת קיימת:
מה התכוונת להגיד?
אסקימואים
חיים בתנאים נוראים וצריכים להילחם כל הזמן על מזון וחומרי בעירה, מה שגרם לאגדה (שהתבררה כלא כל כך נכונה) להתפשט - לגבי מנהג האסקימואים עם זקנים שלא מסוגלים לצוד - לזנוח אותם למוות מכיוון שאין להם די לספק את צרכי הזקנים.
ומצאתי כתוב:
האם האסקימואים שלחו את זקניהם לבד לשלג כדי שימותו מקור?הסיפור על האסקימוסים שנהגו לשלוח את הזקנים אל מותם על גבי קרחון נודד הוא כנראה גם נכון וגם לא נכון.
אכן היו מקרים שהדברים התרחשו כך בעבר, אבל לא כמנהג רווח אלא במקרים מסוימים של מחסור כלכלי ורעב ובמצבים שלא היו הרבה ברירות, שכן הזקנים סבלו מתשישות וזקנה ולא תרמו דבר.
נראה שבעידן המודרני פסקו המקרים הללו, אם מפני שהחוק אסר על כך ואם מכיוון שהאסקימואים כיום מבוייתים, תרבותיים יותר, נהנים ממצב כלכלי טוב יותר וחיים ביישובי קבע. המקרה המתועד האחרון בו נשלחו זקנים אל מותם, התרחש בשנת 1939.
https://eureka.org.il/item/43283/למה-נשלחו-זקני-האסקימואים-למות-בשלג
