מידע על תוכן אתרים
-
שלום
אני צריך לקבל מידע על אתרים שונים, יותר נכון על תוכן האתרים, ויש אפשרות חיפוש בגוגל שמחזיר הדפים המרכזים של האתר עם כמה שורות. לדוגמא
ניסיתי להתחבר לזה עם CURL, זה עבד חמש פעמים ואז נחסם.
הבנתי שיש דרך לשחק עם פרוקסי שיחליף על פעם אייפי, אבל מסובך.
השאלה אם יש דרך אחרת לקבל מידע על אתרים? ראיתי שהAPI של גוגל SEARCH נסגר, אולי יש API אחר, או בכלל כיוון אחר?תודה
-
תוך חמש פעמים זה נסגר? באיזה קצב? למה לי לא נסגר בדפדפן גם אחרי עשר פעמים? מעניין.
אכן ידוע לי על מישהו שמסתדר עם זה אבל עם טריקים של כמה אייפי.
הAPI של גוגל נסגר אבל ניתן להשתמש עם הAPI של Custum Search שמאפשר בין היתר לחפש בכל האינטרנט.
אבל זה יכול לעלות לך יקר בהרבה שאילתות.
ויש את בינג שיש לו API - שוב, כסף - שנראה לי זול יותר אבל לא בטוח שהוא טוב, במיוחד בעברית (אבל ייתכן שאני לא מעודכן וזה מעולה).
