דילוג לתוכן
  • דף הבית
  • קטגוריות
  • פוסטים אחרונים
  • משתמשים
  • חיפוש
  • חוקי הפורום
כיווץ
תחומים

תחומים - פורום חרדי מקצועי

💡 רוצה לזכור קריאת שמע בזמן? לחץ כאן!
  1. דף הבית
  2. תכנות
  3. שיפור ביצועים של אלפי inserts בשניה בMYSQL

שיפור ביצועים של אלפי inserts בשניה בMYSQL

מתוזמן נעוץ נעול הועבר תכנות
20 פוסטים 5 כותבים 369 צפיות
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • nigunN מנותק
    nigunN מנותק
    nigun
    כתב ב נערך לאחרונה על ידי nigun
    #5

    @aaron
    הגדלתי ל16 ליבות
    זה מגיע לכמה שניות לתפוסה מלאה
    אבל לא מורגש בפועל ללקוחות.

    (הload מגיע ל25
    עם 106 IO.
    לא נראה לי שהם קשורים כל כך
    כי גם בשהIO עומד על 682
    הload נשאר על 0.96)

    מייל: nigun@duck.com

    תגובה 1 תגובה אחרונה
    0
    • nigunN מנותק
      nigunN מנותק
      nigun
      כתב ב נערך לאחרונה על ידי
      #6

      אתמול פתאום השרת קפא
      ולא הצלחתי להתחבר אליו בשום אופן ( אפילו סשן פעיל של SSH קפא)
      בסוף לא היה לי ברירה והפעלתי מחדש דרך הממשק של החברה
      בפאנל ניהול הופיע לי בדקות לפני הנפילה ממוצע של 100 load ו17 inserts בשניה.
      יש מצב שזה בגלל זה?
      מה הפתרון?

      מייל: nigun@duck.com

      תגובה 1 תגובה אחרונה
      0
      • dovidD מחובר
        dovidD מחובר
        dovid ניהול
        כתב ב נערך לאחרונה על ידי
        #7

        כמה שהטבלה יותר פשוטה, הINSERT זול יותר,
        ולעומת זאת ככל שיש יותר אינדקסים וכו' אז זה יקר יותר.
        99% מהנתונים לא יודעים לי, אז קשה להביע דעה, אבל התופעה משונה. 1000 בכמה שניות זה בכלל לא הרבה.

        • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
        • בכל נושא אפשר ליצור קשר dovid@tchumim.com
        תגובה 1 תגובה אחרונה
        6
        • nigunN מנותק
          nigunN מנותק
          nigun
          כתב ב נערך לאחרונה על ידי
          #8

          אולי זה יעזור?
          זה המבנה של הטבלה

          CREATE TABLE  `answers` (
          `id` INT(10) NOT NULL AUTO_INCREMENT,
          `room` INT(11) NULL DEFAULT NULL,
          `questionId` INT(11) NULL DEFAULT NULL, 
          `answerId` INT(11) NULL DEFAULT NULL,
          `answerText` TEXT NULL DEFAULT NULL,
                 PRIMARY KEY (`id`));
          
          

          הסטטוס של הטבלה

          mysql> show table status WHERE Name   =  'answers';
          +---------+--------+---------+------------+-------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
          | Name    | Engine | Version | Row_format | Rows  | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time         | Update_time | Check_time | Collation          | Checksum | Create_options | Comment |
          +---------+--------+---------+------------+-------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
          | answers | InnoDB |      10 | Compact    | 45984 |             99 |     4554752 |               0 |            0 |   4194304 |          96598 | 2020-04-26 06:17:37 | NULL        | NULL       | utf8mb4_unicode_ci |     NULL |                |         |
          +---------+--------+---------+------------+-------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
          
          

          מייל: nigun@duck.com

          OdedDvirO תגובה 1 תגובה אחרונה
          1
          • OdedDvirO מנותק
            OdedDvirO מנותק
            OdedDvir
            השיב לnigun ב נערך לאחרונה על ידי
            #9

            @nigun הטבלה נראית בסדר וכמו ש @dovid אמר, אפילו 1000 INSERTs בשניה\שתים הן דבר של מה בכך אפילו באקסס ...
            הייתי בודק:

            1. האם פקודת INSERT מכילה JOIN?
            2. האם לכל INSERT מתלווה חישוב מורכב בקוד?
              אולי תשתף גם מה פקודת ה INSERT.
            nigunN תגובה 1 תגובה אחרונה
            3
            • nigunN מנותק
              nigunN מנותק
              nigun
              השיב לOdedDvir ב נערך לאחרונה על ידי nigun
              #10

              @OdedDvir

              "INSERT INTO `answers`  (`room`,`questionId`,`answerId`,`answerText`) VALUES ( "12345", "2", "1", "מה פרשת השבוע?")"
              

              מייל: nigun@duck.com

              dovidD תגובה 1 תגובה אחרונה
              0
              • dovidD מחובר
                dovidD מחובר
                dovid ניהול
                השיב לnigun ב נערך לאחרונה על ידי
                #11

                אין לי הסבר.
                זה קרה לי גם בעבר, ואני לא מספיק חקרתי אז.

                • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
                • בכל נושא אפשר ליצור קשר dovid@tchumim.com
                תגובה 1 תגובה אחרונה
                1
                • nigunN מנותק
                  nigunN מנותק
                  nigun
                  כתב ב נערך לאחרונה על ידי
                  #12

                  חשבתי לקחת מסד נתונים מנוהל בdigitalocean
                  זה יעזור לי?

                  מייל: nigun@duck.com

                  תגובה 1 תגובה אחרונה
                  0
                  • nigunN מנותק
                    nigunN מנותק
                    nigun
                    כתב ב נערך לאחרונה על ידי nigun
                    #13

                    עכשיו שמתי לב שטעיתי
                    מדובר בטבלה אחרת

                     CREATE TABLE `points` (
                    `id` INT(10) NOT NULL AUTO_INCREMENT,
                    `room` INT(11) NULL DEFAULT NULL,
                    `user` VARCHAR(20) NULL DEFAULT NULL,
                    `questionId` INT(11) NULL DEFAULT NULL,
                    `points` INT(11) NULL DEFAULT NULL,
                    `time` INT(64) NULL DEFAULT NULL,  
                    `grup` VARCHAR(64) NULL DEFAULT NULL,
                    `answerId` INT(11) NULL DEFAULT NULL,   
                            PRIMARY KEY (`id`)"
                    
                    

                    הסטטוס שלה הוא

                    mysql> show table status WHERE Name   =  'points';
                    +--------+--------+---------+------------+--------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
                    | Name   | Engine | Version | Row_format | Rows   | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time         | Update_time | Check_time | Collation          | Checksum | Create_options | Comment |
                    +--------+--------+---------+------------+--------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
                    | points | InnoDB |      10 | Compact    | 553311 |             82 |    45678592 |               0 |            0 |   4194304 |        1599099 | 2020-08-11 21:53:07 | NULL        | NULL       | utf8mb4_unicode_ci |     NULL |                |         |
                    +--------+--------+---------+------------+--------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+------------+--------------------+----------+----------------+---------+
                    
                    

                    והשאילתא נראת כך

                     INSERT INTO `points`  (`room`,`user`,`questionId`,`points`,`time`,`grup`,`answerId`) VALUES (?,?,?,?,?,?,? )", room, user, questionId, points, time, grup, answerId
                    
                    

                    קצת יותר גדול
                    אבל לא נראה לי שאמור להפריע כל כך

                    מייל: nigun@duck.com

                    OdedDvirO תגובה 1 תגובה אחרונה
                    0
                    • OdedDvirO מנותק
                      OdedDvirO מנותק
                      OdedDvir
                      השיב לnigun ב נערך לאחרונה על ידי OdedDvir
                      #14

                      @nigun אני גם לא חושב שזה אמור כל כך להפריע, אבל לפי התאור הראשוני גם מבוצעות שאילתות SELECT ו-INSERT בו זמנית על טבלה זו, ועם חצי מליון שורות אני חושב שכדאי מאוד היה לנרמל את הנתונים עוד יותר, למשל

                      1. כדאי להפוך את כל השדות של ה-VARCHAR ל-INT.
                        user => UserId
                        grup => groupId
                        וליצור טבלאות עבור Groups ו- Users.
                      2. לחשוב טוב האם כל השדות האלו הכרחיים לשמירה עבור כל תשובה?
                      3. אם time הוא רק חותמת זמן, הייתי משאיר זאת לבסיס הנתונים לקבוע ערך ברירת מחדל עבור השדה (=לזמן הנוכחי) ומסיר אותו מה-INSERT.
                      4. כמה שתקטין יותר את הטבלה המהירות תהיה כנראה טובה יותר. יש לך 4 גורמים שאחראים על המהירות הכללית: מעבד, זיכרון, דיסק ורשת. תבדוק את כולם. אם למשל כל הנתונים לא נטענים לזיכרון בבת אחת, הDB יבצע קאשינג והמהירות תרד פלאים בשעות העומס...
                      5. אני נזכר שכבר היתה לך איזו בעיה כזו בעבר, וה Execution Plan של ה-DB לא היתה אופטימלית. לפי זכרוני השתמשת בגירסא מיושנת של MySQL, ואולי כדאי לבצע שדרוג.
                      תגובה 1 תגובה אחרונה
                      3
                      • שואףש מנותק
                        שואףש מנותק
                        שואף
                        כתב ב נערך לאחרונה על ידי
                        #15

                        @nigun איך אתה רואה הסטטוס של הMYSQL ? עם NETDATA ?

                        ליצירת קשר: admin@i-call.me

                        הידד! גישה למייל גם בלי מחשב ואינטרנט!

                        nigunN תגובה 1 תגובה אחרונה
                        0
                        • nigunN מנותק
                          nigunN מנותק
                          nigun
                          השיב לשואף ב נערך לאחרונה על ידי nigun
                          #16

                          @שואף
                          בפאנל ניהול של linode
                          אפשר לראות היסטוריה של מעבד,זיכרון,פעולת בMYSQL וכדו'
                          לא יודע כמה הוא אמין לצורך דיבוג
                          כי אני משער שהוא לא דוגם כל חצי שניה.

                          מייל: nigun@duck.com

                          תגובה 1 תגובה אחרונה
                          0
                          • nigunN מנותק
                            nigunN מנותק
                            nigun
                            כתב ב נערך לאחרונה על ידי
                            #17

                            לבנתיים פתחתי מסד נתונים בDO
                            אולי זה יתן ביצועים יותר טובים
                            לבנתיים אני רואה שיש ממשק נחמד עם סטיסטיקות מורחבות
                            cloud.digitalocean.com_databases_db-mysql-fra1-21586_logs_i=05fb21.png

                            מייל: nigun@duck.com

                            תגובה 1 תגובה אחרונה
                            0
                            • nigunN מנותק
                              nigunN מנותק
                              nigun
                              כתב ב נערך לאחרונה על ידי nigun
                              #18

                              עכשיו היה לי כ650 משתמשים על המערכת
                              וזה אולי נותן קצת יותר תמונה (נראה לי שהנתונים של DO יותר מדוייקים)
                              כפי שרואים בתמונה אין כל כל הרבה inserts בו זמנית, אלא fetchs
                              מה זה fetch? ולמה יש לי כל כך הרבה בשניה?
                              עריכה: אני מבין שזה כתוב השורות במסד נתונים מדפיס בSELECT
                              אז כנראה שזה לא בעיה.
                              בכל אופן נראה שהמסד נתונים של DO מתמודד עם זה יפה (הCPU ממש נמוך)
                              אולי בגלל שהוא משתמש בגירסה 8.0?

                              צילום מסך מ־2020-10-15 23-19-32.png

                              מייל: nigun@duck.com

                              OdedDvirO תגובה 1 תגובה אחרונה
                              0
                              • OdedDvirO מנותק
                                OdedDvirO מנותק
                                OdedDvir
                                השיב לnigun ב נערך לאחרונה על ידי OdedDvir
                                #19

                                @nigun אמר בשיפור ביצועים של אלפי inserts בשניה בMYSQL:

                                מה זה fetch?

                                אני לא מכיר את DO אבל לכאורה fetch זו קריאת שורה מטבלה (SELECT)

                                ולמה יש לי כל כך הרבה בשניה?

                                כי יש הרבה קריאות.

                                nigunN תגובה 1 תגובה אחרונה
                                2
                                • nigunN מנותק
                                  nigunN מנותק
                                  nigun
                                  השיב לOdedDvir ב נערך לאחרונה על ידי nigun
                                  #20

                                  @OdedDvir
                                  מסתבר שכן
                                  כי בלוג מככבים לי הרבה שאילתות של SELECT (שלפעמים לקחו 217 ms)
                                  (ועכשיו אני נזכר שיש איזה קטע קוד שהשתוללתי שם עם השאילתות)
                                  צילום מסך מ־2020-10-15 23-36-01.png

                                  מייל: nigun@duck.com

                                  תגובה 1 תגובה אחרונה
                                  0

                                  בא תתחבר לדף היומי!
                                  • התחברות

                                  • אין לך חשבון עדיין? הרשמה

                                  • התחברו או הירשמו כדי לחפש.
                                  • פוסט ראשון
                                    פוסט אחרון
                                  0
                                  • דף הבית
                                  • קטגוריות
                                  • פוסטים אחרונים
                                  • משתמשים
                                  • חיפוש
                                  • חוקי הפורום