שאיבת מידע מאתר

[MusiCode]

@Avi_av תודה על התשובה המפורטת!
אני אעבור על הכלים, אבל במקביל אשמח שתתן לי חברות זולות ואמינות.

(תודיע לי ששלחת, כי זה לא המייל שלי. רק מייל לצרכים כאלה, כמו פרסום במקום ציבורי... או הרשמה לשירותים מספימים).

[Avi_av]

שלח לי מייל לכתובת שבחתימה.
(זה מייל שאפשר רק להגיב איתו..)

[MusiCode]

מאי האי?

[Avi_av]

avi_av at hi2.in

זה המייל. האתר הזה אין לי שמץ..
זה כתובות מייל זמניות שאפשר לפתוח בכמות בלי בעיה ואפשר לשמור אותם קבוע..

[MusiCode]

בהנחה שאני מנסה עוד קצת עם החינמיים, אז אני צריך בודק פרוקסי טוב, שייתן את האיכות של השרת, ואת העיכוב של התשובות.

היות והפרוייקט שאני עובד עליו הוא ב-Node.js, אני רוצה שהבודק יהיה גם בNODE.

הפרוייקט הכי טוב בנוד הוא https://github.com/assnctr/unfx-proxy-checker.
אבל אני לא מצליח לגשת לAPI שלו.

אני מנסה לחפור בתוך הקוד שלו, וזה מאוד מסובך...

יש בודק פרוקסי לנוד מומלץ?
או שאאלץ לבנות לבד...

[Avi_av]

הייתי מציע לך לנסות קודם את proxybroker הוא מבצע בשבילך את הניהול של זה..
אתה פשוט מתחבר אליו כפרוקסי והוא מעביר הלאה לפרוקסי הכי מהיר..

[MusiCode]

@Avi_av אמר בשאיבת מידע מאתר:

proxybroker

יש בו בעיה רצינית בפייתון 3.8.
מרביץ המון שגיאות.

[MusiCode]

@Avi_av אמר בשאיבת מידע מאתר:

ג. תוודא שאתה מצרף לבקשות שלך כותרות (headers) טובות ולא כאלו שמזהים אותך כבוט. בנוסף, תשתמש בסלניום וכדומה כדי לקבל את המידע במקום לבקש את הבקשות HTTP ישירות..

יש מדריך לכלי כזה?
לא מכיר בכלל...

[Avi_av]

כלי כזה כלומר סלניום?
יש מלא מדריכים ברשת. אין לי משהו ספציפי להציע

[MusiCode]

אוקיי, הסתדרתי עם chrome-headless.
יש ספרייה לנוד בשם puppeteer לשליטה על כרום.
נראה קל ונוח.

את ג'אווה אני לא מכיר, וסלניום נראה לי מסובך מדי.

לעניין אחר:
האתר שאני 'מגרד' חוסם אותי אפילו על בקשה כל דקה, אחרי שעתיים.

אפשר להתגבר על זה?
אני אפילו לא יודע אם אני מוגבל במספר בקשות, או בזמן.
אין תוצאות חד משמעיות לשום צד.