דרוש מפצח אגוזים (קאפצ'ה)

[ש.ב.ח.]

הקאפצ'ה שהם שמו שמו ירדה מה שנשאר שהקאפצה עולה לקריאות שהם לא מהדפדפן
ניסיתי לשלוח מpostman
עם Accept-Language
ו User-Agent
וללא הצלחה

מה עוד יכול להיות?

[yossiz]

@ש-ב-ח צריך קליינט שתומך ב-JS. לא יעזור שינוי user agent וכו'.
אפשר לנסות puppeteer.

[ש.ב.ח.]

@yossiz כן, שמתי לב לזה אחרי כמה דקות, ולא הספקתי לכתוב כאן.
סתם מעניין אם ניתן לבצע את הקוד בjs בצד השרת. (כנראה שזה יהיה הרבה יותר קשה משימוש בpuppeteer, הבעיה היא שאי עובד עם PHP...

[yossiz]

@ש-ב-ח
https://www.google.com/search?q=php+puppeteer

[ש.ב.ח.]

@yossiz
ניסיתי עם puppeteer (על ידי מגשר לphp)
לא מבין איך אני יוצר מצב שהדף מחכה לjs והreload
ניסיתי עם waitForTimeout או waitForSelector ולא הואיל דבר...

[aaron]

@ש-ב-ח אמר בדרוש מפצח אגוזים (קאפצ'ה):

@yossiz כן, שמתי לב לזה אחרי כמה דקות, ולא הספקתי לכתוב כאן.
סתם מעניין אם ניתן לבצע את הקוד בjs בצד השרת. (כנראה שזה יהיה הרבה יותר קשה משימוש בpuppeteer, הבעיה היא שאי עובד עם PHP...

קרוב לוודאי שלא תוכל בצד שרת כי סקריפטים כאלה (שמיועדים לאמת בוטים) משתמשים כנראה בAPI של דפדפן, אז אין ברירה חוץ מלהריץ דפדפן..

אני גם בדקתי על puppeteer, ומקבל קאפצה מיד ולא נותן אפילו לפתור אותה בהצלחה..
(צריך לזכור שאתה מתעסק פה עם משרדי ממשלה אמריקאיים, לא ישראלים.. הם כנראה עושים עבודה טובה יותר באבטח"מ)

[yossiz]

@aaron אני מכיר משרד ממשלתי ישראלי שמשתמש באותה הגנת בוטים בדיוק (של F5 Networks) אבל זה לא ממומש נכון ולכן ניתן לעבור אותו...

[ש.ב.ח.]

@aaron אמר בדרוש מפצח אגוזים (קאפצ'ה):

אני גם בדקתי על puppeteer, ומקבל קאפצה מיד ולא נותן אפילו לפתור אותה בהצלחה..

השאלה שלי, אם הpuppeteer הוא דפדפן כרום עם כל המשתמע מכך אז איך לא עלינו הקוד יודע להבחין בכך?
ברור לי שאפשר ליישם את זה אם רק נבין מה חסר בקריאה של הדפדפן בשרת... אני טועה?

[dovid]

@ש-ב-ח יש המון אינדיקציות.
בא נתחיל עם זה שpuppeteer לא נברא לשקר אלא לעזור לדמות דפדפן לצרכי טסטים.
אם תחקור הפוך, איך לגלות שמישהו נכנס עם דפדפן puppeteer ולא עם אמיתי, אתה ללא ספק תעלה חומר בחכתך. אלא מה, אתה רוצה לדעת מה הדרכים ולנטרל אותם כחתול ועכבר, מה שלטובתך עדיך שלא תצליח, כי אם תצליח תהיה עצוב בכפליים אם עוד כמה שבועות הם ישתדרגו ותיכנס למשחק שוב...

[ש.ב.ח.]

@dovid אמר בדרוש מפצח אגוזים (קאפצ'ה):

אם תחקור הפוך
מצויין, אז כרגע מה שאני רוצה לקבל זה את הפרמטרי הקריאה של הדפדפן (puppeteer) כדי לבחון מה שונה מהדפדפן על המחשב שלי...

איך אני מקבל את המידע הזה?

@dovid אמר בדרוש מפצח אגוזים (קאפצ'ה):

מה שלטובתך עדיך שלא תצליח, כי אם תצליח תהיה עצוב בכפליים אם עוד כמה שבועות הם ישתדרגו ותיכנס למשחק שוב...

צודק, אבל זה מה שהלקוח רוצה (והוא גם ידע מראש (מה שכבר יצרתי לו לפני החסימה הנוכחית) שזה יכול לקרוא.

[dovid]

@ש-ב-ח
google: detect chrome headless mode
תראה שפע של רעיונות טובים.

תבדוק גם את זה
https://gist.github.com/tegansnyder/c3aeae4d57768c58247ae6c4e5acd3d1