תחומים
    • הרשמה
    • התחברות
    • חיפוש
    • קטגוריות
    • פוסטים אחרונים
    • משתמשים
    • חיפוש
    חוקי הפורום

    שאיבת מידע מאתר

    תכנות
    5
    20
    605
    טוען פוסטים נוספים
    • מהישן לחדש
    • מהחדש לישן
    • הכי הרבה הצבעות
    תגובה
    • הגיבו כנושא
    התחברו בכדי לפרסם תגובה
    נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
    • MusiCode
      MusiCode נערך לאחרונה על ידי

      אני רוצה לשאוב מידע מאתר, בצורה רציפה.
      על כל משתמש בפרוייקט שלי, אני לוקח את המידע בנפרד (קוראים לזה 'לגרד', או שזה תרגום טרנסלייט כושל?), כך שיכולים להיות מאה חיבורים ואפילו יותר.

      באיזשהו שלב, האתר ההוא מתרגז, ושם קאפאצ'ה.
      אז אני רוצה להשתמש בשרתי פרוקסי.

      בינתיים ראיתי שהפרוקסי החינמי, מאוד איטי, ולא תמיד עובד.

      בחיפוש בגוגל, מצאתי שרתים יקרים (500 - 1000 דולר בחודש),
      או את השירות הזה https://proxybot.io/ שמספק API לשאיבת מידע מאתרים בתשלום פר בקשה, אבל הוא מגיב מאוד באיטיות (13,000 ms!).

      מישהו מכיר שרתי פרוקסי בתשלום, אבל לא יקר, ומהיר?

      nigun תגובה 1 תגובה אחרונה תגובה ציטוט 0
      • nigun
        nigun @MusiCode נערך לאחרונה על ידי

        @MusiCode
        מה יעזור שרת פרוקסי?
        הוא גם יחסם מתי שהוא.

        מייל: ynigun@pm.me

        תגובה 1 תגובה אחרונה תגובה ציטוט 1
        • MusiCode
          MusiCode נערך לאחרונה על ידי

          לא כתובת אחת.
          אלא הרבה...

          nigun תגובה 1 תגובה אחרונה תגובה ציטוט 0
          • nigun
            nigun @MusiCode נערך לאחרונה על ידי nigun

            @MusiCode
            כמה?
            אם זה עשר כתובות IP אז תקנה לבד את הכתובות
            בשביל מה אתה צריך פרוקסי?
            אבל בכל מקרה לא בטוח שזה יעזור
            יתכן שבעומס מסויים תחסם שוב
            והכל ילך לפח.
            ואל תשכח שאם יש עוד משתמשים בפרוקסי
            אולי הם הכניסו את הכתובות לרשימות שחורות של גוגל.

            מייל: ynigun@pm.me

            clickone תגובה 1 תגובה אחרונה תגובה ציטוט 0
            • clickone
              clickone @nigun נערך לאחרונה על ידי

              @nigun בד"כ השירותים האלו נותנים לך X כתובות, שמשתנות כל יום
              ולכן זה יותר קל / פשוט

              אין טסט כמו פרודקשן.

              המייל שלי urivpn@gmail.com

              תגובה 1 תגובה אחרונה תגובה ציטוט 1
              • MusiCode
                MusiCode נערך לאחרונה על ידי

                בקיצור, זה הכיוון.
                להשיג רשימת שרתי פרוקסי, שבעצם ינתבו את הבקשות דרך כמה כתובות IP, וכך לא אקבל קאפאצ'ה.

                מישהו מכיר שירות אמין?

                השירות שהבאתי מקודם (https://proxybot.io/) למשל, נועד למטרה הזאת בדיוק! לעקוף קאפאצ'ות לסוגיהן. אבל הוא איטי, כאמור.

                כל השירותים שעולים כסף, אני אצטרך לשלם כדי לבדוק אותם...

                אז אשמח אם יש למישהו ידע בעניין, ניסיון בשרתי פרוקסי, או רעיון.

                תגובה 1 תגובה אחרונה תגובה ציטוט 0
                • MusiCode
                  MusiCode נערך לאחרונה על ידי

                  דרך אגב, חשבתי שאפילו מתקפת DDoS אפשר ליישם דרך פרוקסי! ולזה, מספיקים שרתי פרוקסי חינמיים ברשת... מעניין איך אפשר להתגונן מזה.

                  לחסום כללית מי שמגיע מפרוקסי? זה יכול להיות לגיטימי.
                  אולי לאבחן פרוקסי לפי הכותרות שלו? מעניין.

                  יש קצת מידע על זה...
                  https://www.google.com/search?q=ddos+in+proxy

                  WWW nigun 2 תגובות תגובה אחרונה תגובה ציטוט 0
                  • WWW
                    WWW @MusiCode נערך לאחרונה על ידי

                    @MusiCode אמר בשאיבת מידע מאתר:

                    לחסום כללית מי שמגיע מפרוקסי? זה יכול להיות לגיטימי.

                    רוב ה IPים של החינמיים מסומנים ברשימות שחורות של כל מיני כלי אבטחה למיגון אתרים.

                    WWW.netfree@gmail.com || קשבק! החזר כספי לבנק על רכישות באינטרנט || עונים על סקרים ומרוויחים כסף!

                    תגובה 1 תגובה אחרונה תגובה ציטוט 3
                    • nigun
                      nigun @MusiCode נערך לאחרונה על ידי

                      @MusiCode אמר בשאיבת מידע מאתר:

                      אולי לאבחן פרוקסי לפי הכותרות שלו? מעניין.

                      למה שישלח כותרות מסגירות?
                      הוא יחסם בכל האתרים
                      ואז זה כבר לא שווה כלום.

                      מייל: ynigun@pm.me

                      תגובה 1 תגובה אחרונה תגובה ציטוט 1
                      • A
                        Avi_av נערך לאחרונה על ידי

                        @MusiCode
                        א. אתה לוקח את המידע בנפרד אפילו שזה אותו מידע? נשמע כמו תכנון שגוי.. (אולי תשתמש במטמון.)
                        ב. בהתאם להודעת השגיאה כשאתה מקבל קאפצה, אפשר ללמוד המון על מה צריך כדי לא לקבל.. יש הגנות מסוימות שיותר קשות מהשאר.
                        ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..
                        ד. יש דרגות של אנונימיות לפרוקסי, וזה בעצם מה שגורם לזהות פרוקסי חינמי כל ועוד הם לא בדרגת "Elite".. (הם מכילים כותרות שחושפות שהם פרוקסי או גרוע מכך - את הIP האמיתי..)
                        (ip-api.io/json יכול לעזור לבדוק)
                        ה. יש מלא ריפו'ס בגיטהאב של רשימות פרוקסי חינמיות, מתעדכנות אוטומטי על בסיס קבוע. בנוסף, יש גם כלים שימיינו לך רשימות פרוקסי לפי מהירות ואנונמיות. יש גם כלים שיתנו לך backconnect proxy.
                        ו. אם לא תסתדר עם האפשרויות החינמיות - יש לי שני הצעות בתשלום, אבל מכיוון ואסור לשלוח כאן קישורי שותפים... אשמח לשלוח לך במייל.

                        פרויקטים רלוונטים מגיטהאב:
                        https://github.com/assnctr/unfx-proxy-checker
                        https://github.com/bluet/proxybroker2
                        https://github.com/imWildCat/scylla
                        https://github.com/nicksherron/proxi

                        avi_av at hi2.in

                        MusiCode 2 תגובות תגובה אחרונה תגובה ציטוט 7
                        • MusiCode
                          MusiCode @Avi_av נערך לאחרונה על ידי MusiCode

                          @Avi_av תודה על התשובה המפורטת!
                          אני אעבור על הכלים, אבל במקביל אשמח שתתן לי חברות זולות ואמינות.

                          (תודיע לי ששלחת, כי זה לא המייל שלי. רק מייל לצרכים כאלה, כמו פרסום במקום ציבורי... או הרשמה לשירותים מספימים).

                          תגובה 1 תגובה אחרונה תגובה ציטוט 0
                          • A
                            Avi_av נערך לאחרונה על ידי

                            שלח לי מייל לכתובת שבחתימה.
                            (זה מייל שאפשר רק להגיב איתו..)

                            avi_av at hi2.in

                            תגובה 1 תגובה אחרונה תגובה ציטוט 0
                            • MusiCode
                              MusiCode נערך לאחרונה על ידי

                              מאי האי?
                              1b84553a-4488-4cdd-839f-d3690bdf1ef5-image.png

                              תגובה 1 תגובה אחרונה תגובה ציטוט 1
                              • A
                                Avi_av נערך לאחרונה על ידי Avi_av

                                avi_av at hi2.in

                                זה המייל. האתר הזה אין לי שמץ..
                                זה כתובות מייל זמניות שאפשר לפתוח בכמות בלי בעיה ואפשר לשמור אותם קבוע..

                                avi_av at hi2.in

                                תגובה 1 תגובה אחרונה תגובה ציטוט 1
                                • MusiCode
                                  MusiCode נערך לאחרונה על ידי

                                  בהנחה שאני מנסה עוד קצת עם החינמיים, אז אני צריך בודק פרוקסי טוב, שייתן את האיכות של השרת, ואת העיכוב של התשובות.

                                  היות והפרוייקט שאני עובד עליו הוא ב-Node.js, אני רוצה שהבודק יהיה גם בNODE.

                                  הפרוייקט הכי טוב בנוד הוא https://github.com/assnctr/unfx-proxy-checker.
                                  אבל אני לא מצליח לגשת לAPI שלו.

                                  אני מנסה לחפור בתוך הקוד שלו, וזה מאוד מסובך...

                                  יש בודק פרוקסי לנוד מומלץ?
                                  או שאאלץ לבנות לבד...

                                  תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                  • A
                                    Avi_av נערך לאחרונה על ידי

                                    הייתי מציע לך לנסות קודם את proxybroker הוא מבצע בשבילך את הניהול של זה..
                                    אתה פשוט מתחבר אליו כפרוקסי והוא מעביר הלאה לפרוקסי הכי מהיר..

                                    avi_av at hi2.in

                                    תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                    • MusiCode
                                      MusiCode נערך לאחרונה על ידי

                                      @Avi_av אמר בשאיבת מידע מאתר:

                                      proxybroker

                                      יש בו בעיה רצינית בפייתון 3.8.
                                      מרביץ המון שגיאות.

                                      תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                      • MusiCode
                                        MusiCode @Avi_av נערך לאחרונה על ידי

                                        @Avi_av אמר בשאיבת מידע מאתר:

                                        ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..

                                        יש מדריך לכלי כזה?
                                        לא מכיר בכלל...

                                        תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                        • A
                                          Avi_av נערך לאחרונה על ידי

                                          כלי כזה כלומר סלניום?
                                          יש מלא מדריכים ברשת. אין לי משהו ספציפי להציע

                                          avi_av at hi2.in

                                          תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                          • MusiCode
                                            MusiCode נערך לאחרונה על ידי

                                            אוקיי, הסתדרתי עם chrome-headless.
                                            יש ספרייה לנוד בשם puppeteer לשליטה על כרום.
                                            נראה קל ונוח.

                                            את ג'אווה אני לא מכיר, וסלניום נראה לי מסובך מדי.

                                            לעניין אחר:
                                            האתר שאני 'מגרד' חוסם אותי אפילו על בקשה כל דקה, אחרי שעתיים.

                                            אפשר להתגבר על זה?
                                            אני אפילו לא יודע אם אני מוגבל במספר בקשות, או בזמן.
                                            אין תוצאות חד משמעיות לשום צד.

                                            תגובה 1 תגובה אחרונה תגובה ציטוט 0
                                            • הועבר מ תכנות ע"י  dovid dovid 
                                            • 1 / 1
                                            • פוסט ראשון
                                              פוסט אחרון
                                            בא תתחבר לדף היומי!