דילוג לתוכן
  • דף הבית
  • קטגוריות
  • פוסטים אחרונים
  • משתמשים
  • חיפוש
  • חוקי הפורום
כיווץ
תחומים

תחומים - פורום חרדי מקצועי

💡 רוצה לזכור קריאת שמע בזמן? לחץ כאן!
  1. דף הבית
  2. תכנות
  3. יש מה לנסות? SQL ענק ומלא שאילתות וחישובים

יש מה לנסות? SQL ענק ומלא שאילתות וחישובים

מתוזמן נעוץ נעול הועבר תכנות
18 פוסטים 5 כותבים 470 צפיות
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • dovidD מנותק
    dovidD מנותק
    dovid ניהול
    השיב לש.ב.ח. ב נערך לאחרונה על ידי
    #7

    @ש-ב-ח אם מדובר בצד לקוח, זה לא אופציה.

    מנטור אישי למתכנתים (ולא רק) – להתקדם לשלב הבא!

    בכל נושא אפשר ליצור קשר dovid@tchumim.com

    ש תגובה 1 תגובה אחרונה
    0
    • י מנותק
      י מנותק
      יוס
      השיב לש.ב.ח. ב נערך לאחרונה על ידי
      #8

      @ש-ב-ח אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

      אולי אני בכלל טועה והיה עדיף להביא את כל הנתונים מהשרת ולסנן בjs?
      גם אם מדובר ב20000 רשומות אולי זה יהיה יותר מהר ופחות כאבי SQL

      רק לזכור כמה זמן יכול לקחת להוריד 20,000 שורות

      מערכת מכירות בכל ערוצי המכירה, טלפון-מייל-ואתר
      שיגור הודעות במחירים המשתלמים ביותר
      לפתיחת מערכת https://app.ipsales.co.il/

      תגובה 1 תגובה אחרונה
      0
      • ש מנותק
        ש מנותק
        ש.ב.ח.
        כתב ב נערך לאחרונה על ידי
        #9

        @dovid אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

        המאמץ להתבטא טוב ישתלם לך גם אם לא יהיה מי שיעמיק

        @צבי-ש אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

        ואתה אפילו רק תרוויח

        טוב, עוד לא הגעתי לשלוח את הרעיון כי תוך כדי כתיבה בעצמי לא יודע כמה הוא יעזור/כמה הוא מסובך/כמה הוא ראלי...

        בינתיים מילאתי את הDB שלי בסביבת הפיתוח (לוקאלית) עם חצי מליון שורות
        ניסיתי להריץ את השאילתה הזאת ועוד כל מיני דומות לאלו וגם אם עוד עמודות מחושבות
        זמן התוצאה היה בין כ15 שניות (ללא עמודות מחושבות) ל כ40 שניות (עם עמודה/ות מחושבות)
        כך שאפשר להסיק שאי אפשר להמשיך ככה...
        אני יושב על רעיונות אחרים כשיהיו לי כאלו אשמח לשתף בעזרת ה'

        תגובה 1 תגובה אחרונה
        0
        • ש מנותק
          ש מנותק
          ש.ב.ח.
          השיב לdovid ב נערך לאחרונה על ידי
          #10

          @dovid אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

          אם מדובר בצד לקוח, זה לא אופציה

          ניסיתי להתחקות אחרי הפעילות של https://airtable.com/
          וכן נראה שרוב הדברים נעשים בצד הלקוח (כמובן שאין בטבלה בדום יותר מ30-40 שורות)
          אל אף שאני חושב כמוך מכיוון שאי אפשר להעריך/לקבוע איזה משאבים יש ללקוח הקצה.

          א תגובה 1 תגובה אחרונה
          0
          • א מנותק
            א מנותק
            ארכיטקט
            השיב לש.ב.ח. ב נערך לאחרונה על ידי
            #11

            @ש-ב-ח טבלת אוויר איננה ראיה לכלום, כשמה כן היא "טבלת אוויר" וכמו "יום שני קום" ושאר חירטוטים, הם רשמית לא עומדים בעומס של מעל 50 אלף שורות, הצד שרת שלהם איננו מבוסס SQL בקיצור זה לא דוגמא לכלום.
            לשאלתך כדאי לך לפרק את הטבלה לגורמים ולהשקיע בפרוצדורה שתעדכן את טבלת "המחסן" באופן יעיל וחלקי רק על החלקים הרלוונטיים.
            רעיון נוסף הוא לעבוד עם מערכות BI דוגמת קליקסנס בשביל המטרות הללו, הם מתמחים בטיפול בחישובים מהירים וכו'. ובעיקרון אתה אמור להעלות לשם רק את הנתונים הגולמיים ולהשאיר להם את כאב הראש החישובי.

            אידיאולוגיות גדולות נכנסות למטחנה של עולם המעשה ויוצאות ממנו בפירורים (ווינסטון צ'רצ'יל, סתם סתם, זה שלי)

            ש 2 תגובות תגובה אחרונה
            0
            • ש מנותק
              ש מנותק
              ש.ב.ח.
              השיב לארכיטקט ב נערך לאחרונה על ידי
              #12

              @ארכיטקט
              אם תוכל להרחיב מעט על מה שכתבת
              @ארכיטקט אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

              כדאי לך לפרק את הטבלה לגורמים ולהשקיע בפרוצדורה שתעדכן את טבלת "המחסן" באופן יעיל וחלקי רק על החלקים הרלוונטיים.
              מרגיש לי שכאן טמון האוצר... (אף על גב דהוא לא חזי מזליא חזי)

              ו... מה זה קליקסנס...?

              א תגובה 1 תגובה אחרונה
              0
              • א מנותק
                א מנותק
                ארכיטקט
                השיב לש.ב.ח. ב נערך לאחרונה על ידי ארכיטקט
                #13

                @ש-ב-ח אתה אמור בעיקרון (סוג של) לדעת מתי רלוונטי לעדכן נתון מסויים, וכל כמה זמן?
                טווח הזמן ואילו נתונים לעדכן יכול להיגזר מכמה שיקולים:

                • אופי הנתונים (למשל תחזית מזג אוויר אין עניין לעדכן כל חמש דקות, תחזית ארוכת טווח לגבי המצב הגיאופוליטי בעולם זה דבר שמתעדכנים בו אחת לכמה חודשים במקרה הטוב, סטטיסטיקת ייצור, אפשר לחיות עם שבוע אחורה, אבל תנודות שערי מטבע זה כבר משהו אחר)

                • עדכון שורות משפיעות, אם אתה יודע את תאריכי העדכון של שורות המשפיעות על החישובים שלך, אתה יכול פשוט להשוות ולעדכן רק מה שצריך בטבלת המחסן (למשל אם זו שורה של יתרת חובה ואתה יודע שמתוך מיליון לקוחות עודכנו כעת הזמנות של עשרים לקוחות, אין עניין להפעיל UPDATE על מיליון שורות, אלא רק על עשרים)

                • לפעמים בן אדם יכול לחיות גם עם נתונים "לא מעודכנים" ואתה מסביר לו מראש שהנתונים עדכניים לכל היותר עד לפני עשרים דקות, אנשים חיים עם זה זה לא סוף העולם.
                  בקיצור עבודה קשה לפניך.
                  קליק סנס זו פלטפורמה לניתוח נתונים יש לה יכולת להתמודד עם כמויות אדירות של חומר, אממה זה דורש עקומת למידה מסויימת.
                  https://www.qlik.co.il/data-analytics/qlik-sense/

                אידיאולוגיות גדולות נכנסות למטחנה של עולם המעשה ויוצאות ממנו בפירורים (ווינסטון צ'רצ'יל, סתם סתם, זה שלי)

                ש תגובה 1 תגובה אחרונה
                0
                • ש מנותק
                  ש מנותק
                  ש.ב.ח.
                  השיב לארכיטקט ב נערך לאחרונה על ידי ש.ב.ח.
                  #14

                  @ארכיטקט
                  המקום שלי נמצא באפשרות השניה שנתת

                  @ארכיטקט אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

                  עדכון שורות משפיעות, אם אתה יודע את תאריכי העדכון של שורות המשפיעות על החישובים שלך, אתה יכול פשוט להשוות ולעדכן רק מה שצריך בטבלת המחסן (למשל אם זו שורה של יתרת חובה ואתה יודע שמתוך מיליון לקוחות עודכנו כעת הזמנות של עשרים לקוחות, אין עניין להפעיל UPDATE על מיליון שורות, אלא רק על עשרים)

                  ומה שחשבתי זה לעשות טריגר אחרי עדכון כל שהוא שילך לחפש את השורות המושפעות ויעדכן, העניין שמדובר בסרחורת, כי מושפע יכול גם להיות משפיע וזה יכול להסתיים בעדכון של 15 או 50 שורות כשכל אחד גורם לשני להתעדכן.

                  ובעצם עם השורה אני אמור לשמור גם את כל המזהים של הרשומות המשפיעות על מנת שאוכל לדעת מתי לעדכן את השורה
                  השאלה הגדולה נופלת בעת הוספת שורות חדשות שלפעמים ההקשר שלהם הוא עמוק (קשר שקשור לקשר), מה שגורם לי שאין לי יכולת לדעת בצורה נורמטיבית איזה מזהים להוסיף בתלויות... מקווה שהבנת.

                  א תגובה 1 תגובה אחרונה
                  0
                  • א מנותק
                    א מנותק
                    ארכיטקט
                    השיב לש.ב.ח. ב נערך לאחרונה על ידי ארכיטקט
                    #15

                    @ש-ב-ח אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

                    מקווה שהבנת.

                    יותר מהבנתי
                    והחכמה בתיכנות הוא לא לדעת לעשות IF ולולאות (זה מה שמלמדים בסמינר ילדות בנות 15), אלא לתכנן ארכיטקטורות כמו שצריך, לפשט מורכבויות, לשמור על עקביות ולהימנע מסיבוכים (לך תמצא אנשים כאלו). בקיצור קידוד הוא אמנות, זה לא עניין לטכנאים.

                    אידיאולוגיות גדולות נכנסות למטחנה של עולם המעשה ויוצאות ממנו בפירורים (ווינסטון צ'רצ'יל, סתם סתם, זה שלי)

                    תגובה 1 תגובה אחרונה
                    4
                    • ש מנותק
                      ש מנותק
                      ש.ב.ח.
                      השיב לארכיטקט ב נערך לאחרונה על ידי ש.ב.ח.
                      #16

                      @ארכיטקט אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

                      הם רשמית לא עומדים בעומס של מעל 50 אלף שורות

                      כך דעתך גם על google sheets?
                      (רק מנסה להבין את כיוון הדברים)

                      א תגובה 1 תגובה אחרונה
                      0
                      • א מנותק
                        א מנותק
                        ארכיטקט
                        השיב לש.ב.ח. ב נערך לאחרונה על ידי
                        #17

                        @ש-ב-ח אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

                        כך דעתך גם על google sheets?

                        זו לא דעתי, זו הצהרה שלהם ("טבלת אוויר") מול לקוח ששלחתי אליהם (כפי שאני עושה ל 99% מהלקוחות שמתקשרים, אומר להם יש מוצרים בעשרה דולר לחודש לכו לשם כי אצלי החיים קשים, יקרים מאוד, ומתסכלים) הם אמרו לו שאין להם איך לעזור לו כשהמאגר שלו גדול יותר מהסך הנ"ל.
                        לגבי גליונות גוגול הם מוגבלים רשמית ל 40,000 שורות, 18,278 עמודות 200 טאבים. איך אני יודע? גיגול פשוט באנגלית: google sheets limit rows
                        בקיצור זה לא עסק.

                        אידיאולוגיות גדולות נכנסות למטחנה של עולם המעשה ויוצאות ממנו בפירורים (ווינסטון צ'רצ'יל, סתם סתם, זה שלי)

                        ש תגובה 1 תגובה אחרונה
                        2
                        • ש מנותק
                          ש מנותק
                          ש.ב.ח.
                          השיב לארכיטקט ב נערך לאחרונה על ידי ש.ב.ח.
                          #18

                          @ארכיטקט אמר ביש מה לנסות? SQL ענק ומלא שאילתות וחישובים:

                          לגבי גליונות גוגול הם מוגבלים רשמית ל 40,000 שורות, 18,278 עמודות 200 טאבים

                          כן, אחרי שכתבתי גיגלתי (למה לא להיפך? ככה!, וגם כי נחמד לדבר איתך 🙂 )

                          תגובה 1 תגובה אחרונה
                          2
                          • ש ש.ב.ח. התייחס לנושא זה ב
                          • yossizY yossiz התייחס לנושא זה ב

                          בא תתחבר לדף היומי!
                          • התחברות

                          • אין לך חשבון עדיין? הרשמה

                          • התחברו או הירשמו כדי לחפש.
                          • פוסט ראשון
                            פוסט אחרון
                          0
                          • דף הבית
                          • קטגוריות
                          • פוסטים אחרונים
                          • משתמשים
                          • חיפוש
                          • חוקי הפורום