איך בונים בוט מושלם?

[dovid]

@nigun במקום לדמיין תעשה ואל תשכח לבוא לפה עם התוצאות.
תוכל להיעזר ברפוזיטורי של מדומיינים: https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-recaptcha.

[dovid]

פה אפשר לעשות טסטים:
https://recaptcha-demo.appspot.com/recaptcha-v2-invisible.php

[שואף]

תחום הקאפצ'ות עמוק ורחב..
התרומה הצנועה שלי לנושא, היא שלא נכון להגיד שהחישוב של גוגל מבוצע על העכבר (עכ"פ ודאי לא רק), ולא יעזור כל כך להתאמץ בכיוון הזה.
הראייה, שבמסכי מגע, אתה נוגע רק בתמונה בדיוק, בלי להזיז שום עכבר, וזה עובר.

[nigun]

@dovid
קודם כל אני צריך ללמוד איך בונים בוט בלי קאפצ'ה
איך בוחרים את האלמנטים מתוך הHTML וJS
ואחר כך נראה איך עוקפים את הקאפצ'ה

[dovid]

@nigun לא יכולתי לנסח את זה טוב יותר...

[nigun]

אם זה מעניין מישהו
זה קוד שכתבתי עם chromedp (שזה כדומה לSelenium אבל בGO)
בשביל לבנות את הבסיס להגדרת פרופיל זמני דרך הטלפון

package main

import (
	"context"
	"log"
	"time"
	"github.com/chromedp/chromedp"
)

func main() {
	
	opts := append(chromedp.DefaultExecAllocatorOptions[:],
		//הפעלת כרום במצב GPU
                chromedp.Flag("headless", false),
		chromedp.Flag("disable-gpu", false),
			)
	allocCtx, cancel := chromedp.NewExecAllocator(context.Background(), opts...)
	defer cancel()

	ctx, cancel := chromedp.NewContext(allocCtx, chromedp.WithLogf(log.Printf))
	defer cancel()

	err := chromedp.Run(ctx, sendkeys())
	if err != nil {
		log.Fatal(err)
	}
	// sendkeys sends
func sendkeys() chromedp.Tasks {
	return chromedp.Tasks{
                //ניווט לעמוד של הגדרות סינון
		chromedp.Navigate("https://netfree.link/user#/user/filter-settings"),
		//המתנה לשדה של שם משתמש וסיסמה להטען
                chromedp.WaitVisible(`//*[@name="phoneNumber"]`, chromedp.BySearch),
		chromedp.WaitVisible(`//*[@name="password"]`, chromedp.BySearch),
		//שליחת העריכם של שם משתמש וסיסמה
                chromedp.SendKeys(`input[name="phoneNumber"]`, "05212345", chromedp.NodeVisible),
		chromedp.SendKeys(`input[name="password"]`, "pass", chromedp.NodeVisible),
//כניסה
		chromedp.Click(`//*[@type="submit"]`, chromedp.BySearch),
				//המתנה 3 שניות
                chromedp.Sleep(3 * time.Second),
		//לחיצה על הפתור של הפעלת פרופיל זמני
		chromedp.Click(`button.btn.btn-default.btn-xs`, chromedp.ByQuery),
		//בחירת הפרופיל(חסום)
		chromedp.SendKeys(`//select[@ng-model="editTmp.profile"]`, "חסום", chromedp.BySearch),
		//הגרת הזמן
                chromedp.SendKeys(`//input[@ng-model="editTmp.time"]`, "1", chromedp.BySearch),
		//שמירה
                chromedp.Click(`.fa.fa-check`, chromedp.ByQuery),
		chromedp.Click(`.btn.btn-primary.pull-end`, chromedp.ByQuery),
		//סיסמת הגדרות פרופיל
                chromedp.SendKeys(`input.form-control`, "aaa1234", chromedp.ByQuery),
		
		chromedp.Sleep(3 * time.Second),
		}
}

אמנם קצת הסתבכתי עם זה
כי אין ID כמעט בכל הדף ואני צריך להשתמש רק בקלאס או ערכים אחרים וזה הקשה קצת על תפיסת האובייקט הנכון
אשמח לשמוע תגובות על זה
האם יש דרך יותר חכמה לישם את זה?
(אם מישהו רוצה את זה מקומפל בשביל לראות איך זה נראה על המחשב האישי? אני יכול לשלוח)

[dovid]

@nigun אמר באיך בונים בוט מושלם?:

האם יש דרך יותר חכמה לישם את זה?

@dovid אמר באיך בונים בוט מושלם?:

הפשוטה ביותר (מהפן התכנותי/טכני של הפעולה עצמה) זה לעשות מיני "הנדסה לאחור" לאתר,
ופשוט לעשות אותו דבר. בלי עכבר ובלי בוט. למשל בלוגין לאתר זה לאחזר את AntiForgeryToken ואח"כ לשלוח פוסט איתו ועם שם המשתמש וסיסמה. ב99% מהאתרים והפעולות זה עובד יופי.

לשלושת הבעיות הראשונות יש ספריות בסגנון של סילניום ... זה יקר מאוד בביצועים .... ואני גם ממליץ לא להשתמש בספריה בסגנון אם אין בעיה מהסוגים האלו.

[nigun]

@dovid
זה טוב ללוגאין
אבל לשאר ההגדרות לא הבנתי איך אני יכול לשלוח את הערכים בלי בוט

[dovid]

@nigun מעניין אותי מה אתה חושב, שהדפדפן יש לו יכולות מיוחדות לתקשורת עם השרת?
למה דפדפן יודע לשלוח ערכים והתוכנה שלך לא יכולה? איך השרת יודע אם הוא מדבר עם דפדפן או עם תוכנה שלך?

[nigun]

@dovid
לא הבנתי , איפה כתבתי שהתוכנה לא יכולה לשלוח ערכים שהדפדפן יכול לשלוח?

[dovid]

@nigun אמר באיך בונים בוט מושלם?:

זה טוב ללוגאין
אבל לשאר ההגדרות לא הבנתי איך אני יכול לשלוח את הערכים בלי בוט

[nigun]

נראה לי שיש כאן איזה חוסר הבנה
כתבת שיש דרך לשחזר את הטוקן ולשלוח אותו מחדש וככה להיכנס לאתר
ולא צריכים את סלניום ודומיו
ואני כתבתי זה טוב לשליחת שם משתמש וסיסמה בשביל הכניסה
אבל איך אני יכול לשחזר את כל הפעולות האחרות
האם הבנתי נכון?

[dovid]

@nigun בא נתחיל מהתחלה.
אתה צריך בוט כדי לעשות פעולה באתר, נניח להיכנס לנטפרי עם סיסמה ולשנות שם משהו.
שאלתי למה אתה צריך בוט, הרי אפשר לעשות הכל עם התוכנה שלך ישירות, וציינתי כמשל פעלות לוגין, ששמה זה מסובך כי צריך לאחזר קודם טוקן.
אז אמרת לי, הניחא לוגין, אבל שאר פעולות שנעשים בדפדפן איך נוכל לעשותם בלי דפדפן.
ואז שאלתי אותך, הרי הדפדפן חייב לספר לשרת על פעולות אלו, למה שלא תוכל לספר גם אתה ישירות בעצמך.

[nigun]

@dovid

1. כל מה שסלניום ודומיו עושים זה שימוש בAPI של כרום
   שימוש בAPI של כרום לבד יהיה כנראה אפשרי אבל סתם מסובך

2. אני לא יודע למה אתה מתכוון כשאתה אומר "בוט"
   אני מתכוון לסקריפט אוטומטי שעושה פעולה X בדיוק כמו בן אדם
   במקרה שלנו הוא צריך להשתמש בדפדפן כדי לעשות פעולות בדיוק כמו בן אדם

3. כשאתה כתבת לי שאפשר לאחזר את AntiForgeryToken ולשלוח אותו בפוסט
   חשבתי שהשליחה נעשית בפוסט ישירות לכתובת ולא דרך דפדפן
   ולכן כתבתי שזה טוב ללוגאין אבל לשאר הפעולות אני צריך דפדפן (כתבתי בוט אבל הייתי צריך לכתוב סלניום וכו')
   ומה שהתקשתי זה בחיקוי פעולות הדפדפן אחד לאחד
   אמנם בסוף הצלחתי אבל אני מחפש דרך יותר פשוטה

[dovid]

@nigun

1. לא דיברתי על סלניום, לא מכיר את הספריה הזו ולא את כל חברותיה כי מעולם לא הייתי צריך אותם.
2. בלי קשר להגדרת "כמו בן אדם", אם המקרה שלנו הוא נטפרי אז למה צריך בדיוק כמו בן אדם. למה זה שונה מלוגין.
3. הבנת אותי מצויין. אכן הדרך היחידה של דפדפן לתקשר עם שרת זה בקשות אינטרנט. שאר הפעולות שאתה מדבר עליהם לא קיימות, יש רק את זה.

נ.ב. יש לי רושם שיש לך קושי מללמוד מאחרים אני צודק? כל השאלות שלך פה בפורום היו "גבוהות", מעולם לא שאלת איך עושים X - דבר שהוא פשוט בעיניך, אני חושב שאתה מפסיד בגלל זה.

[nigun]

@dovid

1. יכול להיות שיש לי קושי ללמוד מאחרים
   אבל הסיבה שאני שאני לא שואל איך עושים X זה פשוט כי יש את stackoverflow שלרוב בחיפוש פשוט בגוגל אני מוצא את התשובה ואין סיבה לשאול את זה בפורום הז אא"כ אני לא מוצא את מילות החיפוש הנכונות
   אבל בנושאים יותר כללים אני מתקשה בהבנת הדברים בפורומים ובפוסטים באנגלית (בעיקר כי אני קורא לאט)
   אז הפורום הזה זה נראה לי מקום טוב ללמוד על מושגים חדשים וקונספטים מופשטים וכדו'
   אם אני מפסיד משהו מזה שאני לא שואל שאלות פשוטות? אשמח לשמוע מה בדיוק אני מפסיד.
2. במקרה שלנו לא הבנתי איך אני יכול לשלוח את הערכים שבשונה משם מתשתמש וסיסמה הם לא נשלחים בפוסט לHTTP
   אלא משהו בJS (שאני ממש לא מבין בזה ואני לומד את זה עכשיו בעל כורחי בדרך עקיפה (שכמובן זה לא חכם אבל כמו שכתבתי בעבר קשה לי ללמוד דברים שלא נצרכים לי כרגע))
   אני חשבתי שכנראה הבקשות נשלחים בוובסוקט או משהו כזה
   ואין לי מושג איך אפשר לשלוח אותם בלי דפדפן

[WWW]

@nigun אמר באיך בונים בוט מושלם?:

במקרה שלנו לא הבנתי איך אני יכול לשלוח את הערכים שבשונה משם מתשתמש וסיסמה הם לא נשלחים בפוסט לHTTP
אלא משהו בJS (שאני ממש לא מבין בזה ואני לומד את זה עכשיו בעל כורחי בדרך עקיפה (שכמובן זה לא חכם אבל כמו שכתבתי בעבר קשה לי ללמוד דברים שלא נצרכים לי כרגע))
אני חשבתי שכנראה הבקשות נשלחים בוובסוקט או משהו כזה
ואין לי מושג איך אפשר לשלוח אותם בלי דפדפן

בודקים ב F12 בלשונית Network.
הכי פשוט.

[nigun]

@WWW אמר באיך בונים בוט מושלם?:

@nigun אמר באיך בונים בוט מושלם?:

במקרה שלנו לא הבנתי איך אני יכול לשלוח את הערכים שבשונה משם מתשתמש וסיסמה הם לא נשלחים בפוסט לHTTP
אלא משהו בJS (שאני ממש לא מבין בזה ואני לומד את זה עכשיו בעל כורחי בדרך עקיפה (שכמובן זה לא חכם אבל כמו שכתבתי בעבר קשה לי ללמוד דברים שלא נצרכים לי כרגע))
אני חשבתי שכנראה הבקשות נשלחים בוובסוקט או משהו כזה
ואין לי מושג איך אפשר לשלוח אותם בלי דפדפן

בודקים ב F12 בלשונית Network.
הכי פשוט.

צודק
רק עכשיו שמתי לב שכל הערכים נשלחים כשלוחצים על שמור
אני הקלטתי בעבר וכנראה לא חיכיתי עד הסוף

[WWW]

@nigun זה הבסיס על ההתחלה.
מעניין שנכנסת כ"כ עמוק לנושא, ולא הגעת לזה.

אבל זה כנראה בגלל שפעם אחת ניסית, ובמקרה לא הלך לך אז..

זה קורה לי בהרבה תחומים.
בפרט בתכנות, לפעמים מנסים להמציא את הגלגל, ואיזה פונקציה פשוטה עושה את העבודה, רק שבבדיקה שלי היה איזה שגיאה אחרת, וחשבתי שזה לא מתאים וכו'...
לדעתי זה משהו שמיימי... עד שהקב"ה מאיר את עיניהם...

[dovid]

@nigun אמר באיך בונים בוט מושלם?:

אם אני מפסיד משהו מזה שאני לא שואל שאלות פשוטות? אשמח לשמוע מה בדיוק אני מפסיד.

אלא משהו בJS (שאני ממש לא מבין בזה ואני לומד את זה עכשיו בעל כורחי בדרך עקיפה (שכמובן זה לא חכם אבל כמו שכתבתי בעבר קשה לי ללמוד דברים שלא נצרכים לי כרגע))

זה מה שאתה מפסיד.
אתה מחליט שאתה מספיק חכם לחפש בגוגל, וללמוד לבד והכל, וממילא מה שלא ככה זה מסובך.
ואתה חבר בפורום בתשלום, שיש איזה עשר אנשים שיענו לך תוך שלושה הודעות את כל העניין אם רק תשאל/תשוחח על העניין באופןו הכי פשוט וישיר.