דילוג לתוכן
  • דף הבית
  • קטגוריות
  • פוסטים אחרונים
  • משתמשים
  • חיפוש
  • חוקי הפורום
כיווץ
תחומים

תחומים - פורום חרדי מקצועי

💡 רוצה לזכור קריאת שמע בזמן? לחץ כאן!
  1. דף הבית
  2. תכנות
  3. שאיבת מידע מאתר

שאיבת מידע מאתר

מתוזמן נעוץ נעול הועבר תכנות
20 פוסטים 5 כותבים 3.4k צפיות 5 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
תגובה
  • תגובה כנושא
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • A
    A
    Avi_av
    כתב ב נערך לאחרונה על ידי
    #10

    @MusiCode
    א. אתה לוקח את המידע בנפרד אפילו שזה אותו מידע? נשמע כמו תכנון שגוי.. (אולי תשתמש במטמון.)
    ב. בהתאם להודעת השגיאה כשאתה מקבל קאפצה, אפשר ללמוד המון על מה צריך כדי לא לקבל.. יש הגנות מסוימות שיותר קשות מהשאר.
    ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..
    ד. יש דרגות של אנונימיות לפרוקסי, וזה בעצם מה שגורם לזהות פרוקסי חינמי כל ועוד הם לא בדרגת "Elite".. (הם מכילים כותרות שחושפות שהם פרוקסי או גרוע מכך - את הIP האמיתי..)
    (ip-api.io/json יכול לעזור לבדוק)
    ה. יש מלא ריפו'ס בגיטהאב של רשימות פרוקסי חינמיות, מתעדכנות אוטומטי על בסיס קבוע. בנוסף, יש גם כלים שימיינו לך רשימות פרוקסי לפי מהירות ואנונמיות. יש גם כלים שיתנו לך backconnect proxy.
    ו. אם לא תסתדר עם האפשרויות החינמיות - יש לי שני הצעות בתשלום, אבל מכיוון ואסור לשלוח כאן קישורי שותפים... אשמח לשלוח לך במייל.

    פרויקטים רלוונטים מגיטהאב:
    https://github.com/assnctr/unfx-proxy-checker
    https://github.com/bluet/proxybroker2
    https://github.com/imWildCat/scylla
    https://github.com/nicksherron/proxi

    avi_av at hi2.in

    MusiCodeM 2 תגובות תגובה אחרונה
    7
    • A Avi_av

      @MusiCode
      א. אתה לוקח את המידע בנפרד אפילו שזה אותו מידע? נשמע כמו תכנון שגוי.. (אולי תשתמש במטמון.)
      ב. בהתאם להודעת השגיאה כשאתה מקבל קאפצה, אפשר ללמוד המון על מה צריך כדי לא לקבל.. יש הגנות מסוימות שיותר קשות מהשאר.
      ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..
      ד. יש דרגות של אנונימיות לפרוקסי, וזה בעצם מה שגורם לזהות פרוקסי חינמי כל ועוד הם לא בדרגת "Elite".. (הם מכילים כותרות שחושפות שהם פרוקסי או גרוע מכך - את הIP האמיתי..)
      (ip-api.io/json יכול לעזור לבדוק)
      ה. יש מלא ריפו'ס בגיטהאב של רשימות פרוקסי חינמיות, מתעדכנות אוטומטי על בסיס קבוע. בנוסף, יש גם כלים שימיינו לך רשימות פרוקסי לפי מהירות ואנונמיות. יש גם כלים שיתנו לך backconnect proxy.
      ו. אם לא תסתדר עם האפשרויות החינמיות - יש לי שני הצעות בתשלום, אבל מכיוון ואסור לשלוח כאן קישורי שותפים... אשמח לשלוח לך במייל.

      פרויקטים רלוונטים מגיטהאב:
      https://github.com/assnctr/unfx-proxy-checker
      https://github.com/bluet/proxybroker2
      https://github.com/imWildCat/scylla
      https://github.com/nicksherron/proxi

      MusiCodeM
      MusiCodeM
      MusiCode
      כתב ב נערך לאחרונה על ידי MusiCode
      #11

      @Avi_av תודה על התשובה המפורטת!
      אני אעבור על הכלים, אבל במקביל אשמח שתתן לי חברות זולות ואמינות.

      (תודיע לי ששלחת, כי זה לא המייל שלי. רק מייל לצרכים כאלה, כמו פרסום במקום ציבורי... או הרשמה לשירותים מספימים).

      תגובה 1 תגובה אחרונה
      0
      • A
        A
        Avi_av
        כתב ב נערך לאחרונה על ידי
        #12

        שלח לי מייל לכתובת שבחתימה.
        (זה מייל שאפשר רק להגיב איתו..)

        avi_av at hi2.in

        תגובה 1 תגובה אחרונה
        0
        • MusiCodeM
          MusiCodeM
          MusiCode
          כתב ב נערך לאחרונה על ידי
          #13

          מאי האי?
          1b84553a-4488-4cdd-839f-d3690bdf1ef5-image.png

          תגובה 1 תגובה אחרונה
          1
          • A
            A
            Avi_av
            כתב ב נערך לאחרונה על ידי Avi_av
            #14

            avi_av at hi2.in

            זה המייל. האתר הזה אין לי שמץ..
            זה כתובות מייל זמניות שאפשר לפתוח בכמות בלי בעיה ואפשר לשמור אותם קבוע..

            avi_av at hi2.in

            תגובה 1 תגובה אחרונה
            1
            • MusiCodeM
              MusiCodeM
              MusiCode
              כתב ב נערך לאחרונה על ידי
              #15

              בהנחה שאני מנסה עוד קצת עם החינמיים, אז אני צריך בודק פרוקסי טוב, שייתן את האיכות של השרת, ואת העיכוב של התשובות.

              היות והפרוייקט שאני עובד עליו הוא ב-Node.js, אני רוצה שהבודק יהיה גם בNODE.

              הפרוייקט הכי טוב בנוד הוא https://github.com/assnctr/unfx-proxy-checker.
              אבל אני לא מצליח לגשת לAPI שלו.

              אני מנסה לחפור בתוך הקוד שלו, וזה מאוד מסובך...

              יש בודק פרוקסי לנוד מומלץ?
              או שאאלץ לבנות לבד...

              תגובה 1 תגובה אחרונה
              0
              • A
                A
                Avi_av
                כתב ב נערך לאחרונה על ידי
                #16

                הייתי מציע לך לנסות קודם את proxybroker הוא מבצע בשבילך את הניהול של זה..
                אתה פשוט מתחבר אליו כפרוקסי והוא מעביר הלאה לפרוקסי הכי מהיר..

                avi_av at hi2.in

                תגובה 1 תגובה אחרונה
                0
                • MusiCodeM
                  MusiCodeM
                  MusiCode
                  כתב ב נערך לאחרונה על ידי
                  #17

                  @Avi_av אמר בשאיבת מידע מאתר:

                  proxybroker

                  יש בו בעיה רצינית בפייתון 3.8.
                  מרביץ המון שגיאות.

                  תגובה 1 תגובה אחרונה
                  0
                  • A Avi_av

                    @MusiCode
                    א. אתה לוקח את המידע בנפרד אפילו שזה אותו מידע? נשמע כמו תכנון שגוי.. (אולי תשתמש במטמון.)
                    ב. בהתאם להודעת השגיאה כשאתה מקבל קאפצה, אפשר ללמוד המון על מה צריך כדי לא לקבל.. יש הגנות מסוימות שיותר קשות מהשאר.
                    ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..
                    ד. יש דרגות של אנונימיות לפרוקסי, וזה בעצם מה שגורם לזהות פרוקסי חינמי כל ועוד הם לא בדרגת "Elite".. (הם מכילים כותרות שחושפות שהם פרוקסי או גרוע מכך - את הIP האמיתי..)
                    (ip-api.io/json יכול לעזור לבדוק)
                    ה. יש מלא ריפו'ס בגיטהאב של רשימות פרוקסי חינמיות, מתעדכנות אוטומטי על בסיס קבוע. בנוסף, יש גם כלים שימיינו לך רשימות פרוקסי לפי מהירות ואנונמיות. יש גם כלים שיתנו לך backconnect proxy.
                    ו. אם לא תסתדר עם האפשרויות החינמיות - יש לי שני הצעות בתשלום, אבל מכיוון ואסור לשלוח כאן קישורי שותפים... אשמח לשלוח לך במייל.

                    פרויקטים רלוונטים מגיטהאב:
                    https://github.com/assnctr/unfx-proxy-checker
                    https://github.com/bluet/proxybroker2
                    https://github.com/imWildCat/scylla
                    https://github.com/nicksherron/proxi

                    MusiCodeM
                    MusiCodeM
                    MusiCode
                    כתב ב נערך לאחרונה על ידי
                    #18

                    @Avi_av אמר בשאיבת מידע מאתר:

                    ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..

                    יש מדריך לכלי כזה?
                    לא מכיר בכלל...

                    תגובה 1 תגובה אחרונה
                    0
                    • A
                      A
                      Avi_av
                      כתב ב נערך לאחרונה על ידי
                      #19

                      כלי כזה כלומר סלניום?
                      יש מלא מדריכים ברשת. אין לי משהו ספציפי להציע

                      avi_av at hi2.in

                      תגובה 1 תגובה אחרונה
                      0
                      • MusiCodeM
                        MusiCodeM
                        MusiCode
                        כתב ב נערך לאחרונה על ידי
                        #20

                        אוקיי, הסתדרתי עם chrome-headless.
                        יש ספרייה לנוד בשם puppeteer לשליטה על כרום.
                        נראה קל ונוח.

                        את ג'אווה אני לא מכיר, וסלניום נראה לי מסובך מדי.

                        לעניין אחר:
                        האתר שאני 'מגרד' חוסם אותי אפילו על בקשה כל דקה, אחרי שעתיים.

                        אפשר להתגבר על זה?
                        אני אפילו לא יודע אם אני מוגבל במספר בקשות, או בזמן.
                        אין תוצאות חד משמעיות לשום צד.

                        תגובה 1 תגובה אחרונה
                        0

                        שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.

                        נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.

                        בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗

                        הרשמה התחברות
                        תגובה
                        • תגובה כנושא
                        התחברו כדי לפרסם תגובה
                        • מהישן לחדש
                        • מהחדש לישן
                        • הכי הרבה הצבעות


                        בא תתחבר לדף היומי!
                        • התחברות

                        • אין לך חשבון עדיין? הרשמה

                        • התחברו או הירשמו כדי לחפש.
                        • פוסט ראשון
                          פוסט אחרון
                        0
                        • דף הבית
                        • קטגוריות
                        • פוסטים אחרונים
                        • משתמשים
                        • חיפוש
                        • חוקי הפורום