תחומים - פורום חרדי מקצועי

שלום רב לציבור הקדוש.
באירוע משפחתי שהתקיים לאחרונה, פגשתי את דודי שעל ברכיו גדלתי, ובכל מפגש מאז שאני זוכר את עצמי הייתי תוקף אותו בשאלות על מדעים, על מחשבים, ועל מטוסים. הסבלנות שלו היתה יוצאת דופן, ואני זוכר לו את זה עד היום.
הדוד הזה (שלא אנקוב בשמו), הינו ראש צוות בתעשייה האווירית, כותב קוד להפעלת כטבמי"ם כחול לבן. למעשה הוא "אשכרה" כותב את התוכנה בשפת C שנותנת פקודות לכלי הטיס, טוס מכאן ולך לשם, הפצץ שם והתאבד פה, כשכל זה כמובן מופעל על ידי תחנה בקרקע (שם יושבים "מטיסים") הוא עובד שם כבר מעל שלושים שנה יוצא לעבודה בכל בוקר בשעה מוקדמת מאוד וחוזר הביתה בערב, מלח הארץ מה אני יגיד לכם (הוא איש דתי לאומי).
למה המפגש הזה הקפיץ אותי?
ובכן מזה מספר שנים אני טוען וכותב על כך גם כאן, בעקבות ההיכרות הקרובה שלי עם עולם התוכנה והמחשבים, שאין לו שום עתיד, אין לו שום סיכוי להחזיק מעמד ובעוד כמה עשרות שנים (ואולי אפילו פחות מזה) נתחיל לראות דעיכה מהירה מאוד של הטכנולוגיה, וחזרה לעט ודף, אולי אפילו סוס ועגלה מי יודע.
אפרוש ברשותכם את עיקרי הטיעון שלי להלן:
ההנחות:
א) עולם הטכנולוגיה בכלל ועולם המחשבים והתוכנה בפרט הוא עתיר ידע בצורה קיצונית מאוד - אין צורך לשכנע את החברים כאן.
תחום התוכנה שונה מכל תחומי ההנדסה בדברים הבאים:
ב) אין לו מגבלת גודל אפשר לכתוב קוד כמה שרוצים, ואף אחד לא מגביל אותך.
ג) התלויות בין החלקים בו היא גדולה ומורכבת מאוד
החשיפה של כל חלק בו לבעיה עלולה להפיל את כל החלקים האחרים (ע"ע מתקפות סייבר)
ד) כמעט ואין מגבלה לשיתופי הפעולה בין אנשים בתחום הזה (ראו כמה ספריות יש בגיטהאב/נוגט וכמה תלויות יש לספריות בספריות/תשתיות נוסיף לזה גם את רשת האינטרנט ושירותי הענן שהם בעצמם שירותים שכולם תלויים בהם והם תלויים במוצרים נוספים)
ה) כל הנ"ל הולך וגדל ומסתבך מיום ליום
ו) תשתיות קריטיות צבאיות ואזרחיות כאחת (וממילא אנשים הצורכים אותן) הופכות יותר ויותר תלויות תוכנה ומשובצות מחשב מיום ליום. בתשתיות כאלו "אין סובלנות לבאגים" נקודה.
ז) נוסיף על זה שכל הסיפור הזה צורך חשמל 24/07

באם אתם מסכימים עם כל ההנחות דלעיל שהן נראות לי די יכיחות (ניתנות להוכחה) הבה ונתקדם להנחות נוספות שהן יותר פילוסופיות.

ח) טבע האדם: הולך ומתנוון כאשר הוא משתמש במכשירים ופרוטוזות ה"מקלות" מעליו את החנטריש. במילים פשוטות: מאז שאני משתמש בווייז אני פחות זוכר דרכים וכן הלאה.
ט) טבע נוסף של האדם/עכבר שככל שישנה רווחה גדולה יותר הוא לא מנצל את המשאבים שהתפנו לתחזוקת הקיים או למחשבות על העתיד, אלא להגדלת הצריכה והניצול.
י) הילדים שגדלים לתוך עולם הטכנולוגיה+דמוקרטיה+קפיטליזם+פמיניזם, הינם נרקומנים של דופמין, חסרי יכולת דחיית סיפוקים, חסרי יכולת ריכוז, חסרי אישיות בכלל, ובוודאי ובוודאי חסרי יכולת קריאה וכתיבה.

ועכשיו לטענה:
על מנת לתחזק את המפלצת של עולם התוכנה שהולכת וגדלה, יש צורך שהאנשים שיצרו אותה, יעבירו את הידע העצום הזה הלאה במסורת.
לצורך כך עלינו לאתר אנשים עם יכולות יוצאות דופן, בעלי כשרון אדיר, יכולת דחיית סיפוקים, סבלנות של פיל, ושאר רוח, ועוד שלל כישורים ומדות טובות.
אנשים כאלו אינם מיוצרים כמעט, בסביבה הטכנולוגית+דמוקרטית+קפיטליסטית+פמיניסטית. מייצרים אנשים שהם כל ההיפך ממה שדרוש על מנת לתחזק את העולם הזה.
גם האנשים עצמם - שפיתחו את המערכות הללו, לא תמיד זוכרים ויודעים לתקן בעיה בדבר שהם בעצמם כתבו לפני כמה שנים.
לא בטוח בכלל שאין הבדל גדול בין פיתוח לבין העברה של קוד במסורת לדורות הבאים, שכן המפתח שקוע בעניין בצורה שונה מאשר מי שמקבל קוד כתוב לידיו.
ולכן המסקנה:
האנושות הלכה רחוק מידי עם הפרוייקט הסופר מסובך הזה, הוא בלתי ניתן להגנה, לתחזוקה, ולהמשך פיתוח. מה שיקרה בהכרח הוא קריסה של הרבה מאוד תחומים ומערכות מחוסר יכולת תחזוקה שלהן, ויצטרכו להתפשר ולעשות ויתורים רבים וחזרה אחורנית בהרבה מאוד תחומים נקודה.
איפה אנחנו אוחזים היום? האם כבר הגענו לנקודת השיא שממנה אפשר רק לרדת? אינני יודע. ימים יגידו, קשה מאוד לאמוד דבר כזה. אבל ברור שמתחילים לראות סימנים מדאיגים כפי שאספר לכם מייד.
מה שדוד שלי סיפר לי זה שבתעשייה האווירית עשו לאחרונה איזה פרוייקט שמתבסס על פרוייקט אחר, והביאו אנשים מהפנסיה כדי שיעזרו להם וידריכו אותם בפרוייקט הקודם. אז איזה מין מצב זה שמישהו יוצא לפנסיה ואין אחריו מישהו אחר שירש את כל הידע שלו? זה אומר שבהמשך של אחרי הפנסיה (מוות) כבר לא יוכלו להביא אותו, אלא אם כן התעשייה האווירית מאמינה בסיאנסים ובהעלאה באוב וזו כבר שאלה אחרת.
אז הבעיה הזו קיימת בכל העולם, בכל התעשיות, בכל הצבאות, שאף אחד לא יבלבל לי במוח. למטוס F35 יש 25 מיליון שורות קוד, יש מכשירים אזרחיים שיש בהם מעל 100 מיליון שורות קוד, אין שום סיכוי שהדבר הזה בר תחזוקה ובר ידיעה של בן תמותה. הבאגים נוצרים במימשקים, ואז מישהו צריך לדבר עם מישהו שצריך לדבר עם עוד מישהו, חלאס עם ההזיות שזה יעבוד. בינתיים כפי טבעו של העכברוש הוא מנצל את הכסף שמוזרם לתעשיות הללו, לוקחים משכורת ורווחים הביתה, ומשאירים את שברי הכלים לדורות הבאים, מתוך הנחה שהכסף הרב שנצבר יוכל "לפתור כל בעיה" הוא לא! כשאין אנשים שיתחזקו את התוכנות, כסף לא יוכל לייצר אותם נקודה.

@ארכיטקט אמר בהפעלת פונקציה אסינכרונית ללא await:

אז זה בעצם אומר גם בין היתר שהאפליקציה לא הולכת לישון אף פעם?

אז עכשיו אחרי שמימשתי את זה לגמרי ועשיתי דמה מעין פרודקשן, אני רואה שהאפליקציה הולכת גם הולכת לישון בלי נדר.

@צדיק-תמים אמר בlog מוזר בשרת:

@nigun רק אני לא מצליח להבין מה המטרה/רווח של הבוט הזה?

משווקים את זה אחר כך למשקיעים טיפשים כסטרטאפ שכבר "סרק מאה טריליון אתרים ויש לו בינה מלאכותית של חייזר"
לחילופין מנסים למכור ברשת האפלה מידע מאונדקס לכל מיני צרכים שהשתיקה יפה להם, וכן הלאה.

@dovid אמר בSQL - GROUP BY HEBREW MONTH ?:

עוד אפשרות שאני זוכר שממליצים זה טבלה סטטית עם רשימת ימים.
מדובר באלפי שורות בודדים, ואז בהנחה שיש לך שדה תאריך ללא שעה זה JOIN פשוט.

זה אני המלצתי בזמנו ונראה לי שהעלתי לפורום בצורה כזו או אחרת את הטבלה ב SQL SERVER אם זה רלוונטי אעלה אולי שוב (לא מבטיח כלום לאף אחד כבר שנים).

@יוסף-בן-שמעון אגב אני חייב למחות על הכותרת, כי האיש הזה הוא בסך הכל גוי קטן אשר לו אלהים רחוקים ממנו וכו'. הוא ממש ממש לא החברה, בוודאי לא היום, ובוודאי אין לו שום קשר לדוט נט. למעשה הוא לא יותר מאשר נצלן קפיטליסטי בר מזל שעלה על גל כלשהו בשנות התשעים ותו לא (הרמה האישית שלו נמוכה מאוד מעולם לא שמעתי בשמו שום דבר חכמה למרות שהוא מצהיר שהוא קורא הרבה ספרים). מייקרוסופט בנויה על כמה עשרות טאלנטים יוצאי דופן ברמה עולמית, והם אמונים על יצירת המוצרים הנהדרים של החברה. המנכ"ל ההודי העכשווי הוא זה שהזניק את מוצרי הדוט נט למה שהם היום כולל הפיכה לקוד פתוח ועוד. הוא גם הזניק את מחיר המניה.
אז ביל הדביל זה רק סטריאוטיפ של איש מוצלח. הוא ממש לא.

@OdedDvir אמר במנשר - אזהרה לציבור הצעיר לא להתפתות להתקרב למסגרת ישות של מייקרוסטופ:

migrations ("הַגִירוֹת" בלע"ז... )

סתם שתדע הכלי הכי מתאים לניהול פרוייקט של דטה בייסים הוא ויזואל סטודיו ומומלץ ביותר על ידי ה DBAים
הוא גם יודע לעשות ריפקטורינג ומקמפל את הפרוייקט לפני שהוא מעדכן את הדטה בייס כמובן תומך בGIT מטבע הדברים ועוד ועוד.

@OdedDvir נו אז יש לנו מניפסט הפוך. אדרבה ואדרבה. העיקר שאתה מדבר מניסיון וחיכוך רב שנים. אין כאן כל כך עניין עקרוני זה יותר עניין פרגמטי. לגבי עדכונים זה הפיתוי הגדול ביותר להצטרף לחגיגה.
אגב כל משטר טוטאליטארי מאפשר גמישות למי שיודע את כל סודותיו ואותיותיו ורמזיו היוצאים ממנו, אפילו במדינת ישראל יש אנשים מסויימים שמסתדרים איכשהו עם הבירוקרטיה אחרי שבזבזו חצי חיים כדי ללמוד אותה.
אבל מי אני שאתווכח.

לאחר מריטות עצבים של שנים על גבי שנים וניסיונות בכל זאת לגלות את הדרך הנכונה לתחזק את השידוך הזה. אני מודיע על גירושין סופיים (ילדים שכבר נולדו - פרוייקטים קיימים יועברו לחזקת האם תמורת מזונות שהלקוחות ישלמו).
מסקנותיי:
החיבור בין מסד נתונים לבין קוד מונחה עצמים, צריך להיעשות על ידי המפתח עם מספיק גמישות, ולא על ידי משטר טוטאליטרי של מייקרוסופט זה לא עובד. דטה בייס וקוד הם עולמות שונים, והחיבור ביניהם צריך להיות על בסיס סחר חופשי.
אז כמובן, לא לוותר חלילה על OOP, ולא לוותר על דטה בייס מנורמל ומאורגן. האם שניהם חייבים להיות תאומים סיאמיים?? חלילה וחס!!!!! לכל "רצפת ייצור" התנאים המתאימים לה.

אז איך לעבוד מכאן ואילך? עד כמה שאני זוכר יש מספר ספריות מתחרות, שלא כופות עליך מיפוי דקדקני ולא "מתעצבנות" כשמשהו לא מתאים. בסך הכל מדובר בהעברת חבילות מידע מעולם לעולם, ואפשר לעשות זאת בצורה רכה וגמישה יותר.

גם אני בעניי פיתחתי ספריה קטנה לבד (ואיתה אני משתמש במקביל כבר שנים רבות) אשקול להעלות אותה לגיט האב אם תהיה לכך הצדקה. דומני שמה שכבר יש בגיטהאב הוא מספיק טוב. העיקר לא Entity Framework.

אני פונה כמובן לאלו שמתחילים את דרכם בעולם התכנות ומערכות המידע, אני הייתי שם, וכעת אני מודה ועוזב. מי שכבר באמצע עם פרוייקט קיים אינני יודע אם זה שווה את המחיר.

יש תופעה ידועה בעולם התוכנה ובעולם בכלל (מקווה שלא כאן בפורום של הצדיקים...) שמי שכבר תקוע עם טכנולוגיות והרגלי עבודה, נמצא באזור נוחות שהוא לא רוצה לשנות אותו, והוא בדרך כלל ינסה להצדיק את חטאיו הקודמים ולהפיל איתו בפח עוד אנשים כדי להפוך ל"מומחה שלהם". אז הזהרו גם מכאלו היועצים לכם לפי דרכם.

מוזמנים להתקיף בחזרה.

@ש-ב-ח אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

כך דעתך גם על google sheets?

זו לא דעתי, זו הצהרה שלהם ("טבלת אוויר") מול לקוח ששלחתי אליהם (כפי שאני עושה ל 99% מהלקוחות שמתקשרים, אומר להם יש מוצרים בעשרה דולר לחודש לכו לשם כי אצלי החיים קשים, יקרים מאוד, ומתסכלים) הם אמרו לו שאין להם איך לעזור לו כשהמאגר שלו גדול יותר מהסך הנ"ל.
לגבי גליונות גוגול הם מוגבלים רשמית ל 40,000 שורות, 18,278 עמודות 200 טאבים. איך אני יודע? גיגול פשוט באנגלית: google sheets limit rows
בקיצור זה לא עסק.

@aaron זה לא להתחכם, אני רוצה בטחון מלא שכל הריקווסטים התקבלו נקודה. אני לא רוצה להיות במקום שהפרוייקט שלי אחראי על זה וזמינות של 24.07 וכדומה, רוצה לעשות ריסטרטים לפעמים ולהפיל את השרת במתכוון, ולהשבית דברים בגלל תחזוקה וכו' וכו' וכו'.
אז אני צריך לדאוג שיש תנועה פיננסית שדילגתי עליה בגלל השיקולים האלו? זה בסך הכל הפרדת מיקרו סרביסים שצריכים לפעול כל הזמן מבלי להיות מושבתים לרגע.

שלום
יש הרבה סרביסים שהדרך לתקשר איתם היא לקבל מהם ריקווסטים, הם לא נותנים לך "למשוך" מהם באמצעות API אלא אתה צריך לתת להם כתובת והם "ידחפו לך" מידע בכל פעם כשקורה משהו (למשל SMS של כל מיני חברות עובד כך ובתחום הפיננסים יש הרבה שמתעקשים לעבוד כך משום מה)
בכל אופן הואיל והצטברו אצלי כמה וכמה כאלו, והואיל ויש כאן סוג של אחריות מיקרוסרביסית שהכל צריך לעבוד בלי בעיות ואין הזדמנויות לתקן אם שגית, ואם פספסת משהו. הרי שעלי לכאורה להקליט את הריקווסט במלואו ולשמור אותו כפי שהוא באיזה שהוא מקום כלשהו כדי שאוכל לגשת ל Raw כנתינתו גם לאחר מכן.
אשר על כן נראה לענ"ד ליצור סרביס נצחי, שאין כתובתו משתנה לעולם, זמין תמיד ואיננו נופל לעולם, ואיננו תלוי בשום ריסטרטים של חנטריש. וכל תפקידו יהיה אך ורק לספוק את הריקווסטים השונים, "להקליט" אותם ולשמור אותם בדטה בייס בדיוק כפי שהם, עם כל ההידרים וכל הדברים מסביב. ככה זה מפשט את העסק מאוד, ומאפשר לי גמישות יתירה בדברים האחרים שאני עושה.
חשבתי על פונקציה ב AWS וכדומה. מה הציבור יודע על דברים אלו, רעיונות ושירותים וכדומה.
תודה מראש

@צבי-ש זה היה כמובן בהומור.
אם משלמים לך אל תתנגד (כך לימד אותי גרוזיני אחד).

@ש-ב-ח אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

מקווה שהבנת.

יותר מהבנתי
והחכמה בתיכנות הוא לא לדעת לעשות IF ולולאות (זה מה שמלמדים בסמינר ילדות בנות 15), אלא לתכנן ארכיטקטורות כמו שצריך, לפשט מורכבויות, לשמור על עקביות ולהימנע מסיבוכים (לך תמצא אנשים כאלו). בקיצור קידוד הוא אמנות, זה לא עניין לטכנאים.

@ש-ב-ח אתה אמור בעיקרון (סוג של) לדעת מתי רלוונטי לעדכן נתון מסויים, וכל כמה זמן?
טווח הזמן ואילו נתונים לעדכן יכול להיגזר מכמה שיקולים:

• אופי הנתונים (למשל תחזית מזג אוויר אין עניין לעדכן כל חמש דקות, תחזית ארוכת טווח לגבי המצב הגיאופוליטי בעולם זה דבר שמתעדכנים בו אחת לכמה חודשים במקרה הטוב, סטטיסטיקת ייצור, אפשר לחיות עם שבוע אחורה, אבל תנודות שערי מטבע זה כבר משהו אחר)

• עדכון שורות משפיעות, אם אתה יודע את תאריכי העדכון של שורות המשפיעות על החישובים שלך, אתה יכול פשוט להשוות ולעדכן רק מה שצריך בטבלת המחסן (למשל אם זו שורה של יתרת חובה ואתה יודע שמתוך מיליון לקוחות עודכנו כעת הזמנות של עשרים לקוחות, אין עניין להפעיל UPDATE על מיליון שורות, אלא רק על עשרים)

• לפעמים בן אדם יכול לחיות גם עם נתונים "לא מעודכנים" ואתה מסביר לו מראש שהנתונים עדכניים לכל היותר עד לפני עשרים דקות, אנשים חיים עם זה זה לא סוף העולם.
  בקיצור עבודה קשה לפניך.
  קליק סנס זו פלטפורמה לניתוח נתונים יש לה יכולת להתמודד עם כמויות אדירות של חומר, אממה זה דורש עקומת למידה מסויימת.
  https://www.qlik.co.il/data-analytics/qlik-sense/

@צבי-ש 90% מהשירים שם חוזרים על עצמם כך שחבל על השטח בדרייב.

@ש-ב-ח טבלת אוויר איננה ראיה לכלום, כשמה כן היא "טבלת אוויר" וכמו "יום שני קום" ושאר חירטוטים, הם רשמית לא עומדים בעומס של מעל 50 אלף שורות, הצד שרת שלהם איננו מבוסס SQL בקיצור זה לא דוגמא לכלום.
לשאלתך כדאי לך לפרק את הטבלה לגורמים ולהשקיע בפרוצדורה שתעדכן את טבלת "המחסן" באופן יעיל וחלקי רק על החלקים הרלוונטיים.
רעיון נוסף הוא לעבוד עם מערכות BI דוגמת קליקסנס בשביל המטרות הללו, הם מתמחים בטיפול בחישובים מהירים וכו'. ובעיקרון אתה אמור להעלות לשם רק את הנתונים הגולמיים ולהשאיר להם את כאב הראש החישובי.

@שמואל4 צודק, אלא שגם לזה התכוונתי. אבל לא ב PHP.

@צבי-ש מה אומר, אין לי עדיין דוקר, אין לי אלקטרון, אין לי גירסה לתת "מהקופסא", למרות שזה לא ייקח הרבה זמן לעשות את זה, אבל איך אומרים "אני לא מגיע לזה" מה דעתך על גירסת אונליין, שבה אתה למעשה מתקין רכיב תוכנה פיצקי על השרת שלך הוא ירוץ כסרביס והוא יהיה ה Agent שלך לדבר עם הדטה בייס מקומית, כך שלא תצטרך לחשוף את מסד הנתונים שלך החוצה, אתה תכניס קונעקשן סטרינג כנפשך עם מגבלות, ואז האונליין יתחיל לנגן?
זה מהלך שנשמע לי יותר הגיוני מאשר להתחיל לפזר מפלצות.

לי אני הקטן יש כלי צנוע ופשוט של CRUD (שעובר את כל מה שאי פעם המציאו ואת זה אני אומר בצניעות יתירה) אבל מכיוון שהביטחון העצמי שלי נפל פלאים (-98.96% ברבעון האחרון) מאז שמרן ראש הפורום הפסיק לענות לי לטלפונים (@dovid עוד מעט בחירות) אין לי אפילו האומץ לשתף את הכלי הזה.
כמו"כ הכלי הזה עובד טוב עם MSSQL ופחות ניסיתי אותו על מסדי נתונים אחרים.
עדכון: הוא ענה לי לטלפון היום תוך כדי כתיבת השורות.

@aaron לצערי עדיין לא נכנסתי לעולמם של קונטיינרים, עדיין חי אי שם בעולם ה IISים
תגיד זה מעניין שם? אני מפסיד הרבה?