עזרה בשאיבת מידע מאתר

שואף

אני מנסה לשאוב מידע מהאתר הזה spydialer.com, כתבתי סקריפט בPHP שעובר את ההזדהות, עובר כמה שלבים, ובסוף לא מקבל תוצאה.

אשמח אם מישהו יוכל להעיף מבט
תודה רבה

<?php
$cookie = 'asd';

$curl1 = curlY('https://www.spydialer.com/');
$VIEWSTATE = pregExtract($curl1, 'id="__VIEWSTATE" value="(.*)" />', '-');
$EVENTVALIDATION = pregExtract($curl1, 'id="__EVENTVALIDATION" value="(.*)" />', '-');

$post2 = [
	'__VIEWSTATE' =>$VIEWSTATE,
	'__EVENTVALIDATION' => $EVENTVALIDATION,
	'ctl00$ContentPlaceHolder1$SearchInputTextBox' => '7322788513',
	'ctl00$ContentPlaceHolder1$SearchImageButton' => 'Search'
];
$curl2 = curlY('https://www.spydialer.com/', $post2, ['Content-Type: application/x-www-form-urlencoded'], $cookie);
$VIEWSTATE = pregExtract($curl2, 'id="__VIEWSTATE" value="(.*)" />', '-');
$EVENTVALIDATION = pregExtract($curl2, 'id="__EVENTVALIDATION" value="(.*)" />', '-');
$VIEWSTATEGENERATOR = pregExtract($curl2, 'id="__VIEWSTATEGENERATOR" value="(.*)" />', '-');

$post3 = [
	'__VIEWSTATE' => $VIEWSTATE,
	'__EVENTVALIDATION' => $EVENTVALIDATION,
	'__VIEWSTATEGENERATOR' => $VIEWSTATEGENERATOR,
	'ctl00$ContentPlaceHolder1$radio-option' => 'NameOptionRadioButton',
	'g-recaptcha-response' => '',
	'ctl00$ContentPlaceHolder1$SearchCellImageButton' => 'Search'
];
$curl3 = curlY('https://www.spydialer.com/CellOptions.aspx', $post3, ['Content-Type: application/x-www-form-urlencoded'], $cookie, false, false);

echo $curl3;

function pregExtract($string, $pattern, $options = false)
{
	if (strpos($options, '-') !== false) {
		$options = str_replace('-', '', $options);
	} else
		$options = $options . 's';
	return preg_match('#' . str_replace('~', '(.*)', $pattern) . '#' . $options, $string, $match) ? $match[1] : '';
}

function curlY($url, $post = false, $headers = false, $cookie = false, $proxy = false, $followLocation = true)
{
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
	if ($followLocation)
		curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
	if ($headers)
		curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
	if ($post) {
		curl_setopt($ch, CURLOPT_POST, true);
		curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
	}
	if ($cookie) {
		curl_setopt($ch, CURLOPT_ENCODING, "gzip");
		curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
		curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
	}
	if ($proxy)
		curl_setopt($ch, CURLOPT_PROXY, '127.0.0.1:8888');
	$return = curl_exec($ch);
	return $return;
}

?>

chagold

@שואף הם כותבים שזה עובד רק על ארה"ב. כמדו' שהמספר שלך מישראל.

Spy Dialer works with U.S. based phone numbers and email addresses only. You might be seeing this message because you tried a phone number outside of the United States or you entered an invalid number.

שואף

@chagold , לא זה מספר אמריקאי (10 ספרות בלי אפס)

WWW

@שואף אולי הבעיה עם ה 302, ניסית לראות אם הבקשה האחרונה מחזירה 302 או משהו אחר?
כי זה אמור להחזיר 302 ל https://spydialer.com/results.aspx?vid=43713d56-5a09-439c-a5b9-d0ec03c248a2
בפונקציה שלך מוגדר שזה יעביר אוטומטי, אבל אולי יש איזה בעיה עם זה.

yossiz

@www אמר בעזרה בשאיבת מידע מאתר:

בפונקציה שלך מוגדר שזה יעביר אוטומטי, אבל אולי יש איזה בעיה עם זה.

א. זה לא מוגדר ככה. (רק בברירת מחדל, אבל בקריאה הוא דורס את הברירת מחדל)
ב. זה לא הבעיה...

@שואף בזבזתי די הרבה זמן על זה ולא הצלחתי...

יש לי הערה אחת על הקוד. ה-header שאתה מוסיף: Content-Type: application/x-www-form-urlencoded לא נכון, כי ה-body הוא בפורמט: multipart/form-data
כמבואר להדיא בתיעוד, וכן הוא למעשה.
אבל גם אחרי התיקון הסקריפט לא עובד.

WWW

@yossiz אמר בעזרה בשאיבת מידע מאתר:

א. זה לא מוגדר ככה. (רק בברירת מחדל, אבל בקריאה הוא דורס את הברירת מחדל)
ב. זה לא הבעיה...

מה זתאומרת, מה מתקבל סטטוס 200?

yossiz

@www למה אתה לא מריץ את הסקריפט?
בהתחלה היה מתקבל 302 אבל לדף הבית.
לאחרונה אני מקבל 200 עם ה-html של דף CellOptions.aspx
אני לא יודע מה השתנה

WWW

@שואף אולי צריך קוקיז מהבקשה הראשונה?

שואף

תודה רבה לעוזרים ולבודקים
יתכן שיש איזה אימות סמוי מאחורי הקלעים?

clickone

@שואף
אני יודע שאתה מחפש בחינם...
אבל אולי המחיר שלהם יהיה שווה לך (ממילא אתה עושה קאש)

שואף

@clickone אמר בעזרה בשאיבת מידע מאתר:

@שואף
אני יודע שאתה מחפש בחינם...
אבל אולי המחיר שלהם יהיה שווה לך (ממילא אתה עושה קאש)

אני דווקא לא מחפש בחינם (גם לא מידי יקר, אבל בארץ אני משלם אגורה לבקשה וזה שווה לי לגמרי)
החברה שהבאת, אין להם כמעט כלום.
אני כרגע לוקח מTWILIO, עולה די יקר (סנט לבקשה), יש להם קצת יותר חומר (גם כן לא מאוד הרבה).

clickone

@שואף
מה עם התישאול של truecaller שהתחלת לעשות בעבר?

שואף

אממ
עזבתי את זה כי לא היה לי מכשיר אנדרואיד, והמחשב שלי לא תמך בבלוסטקס.
לאחרונה חשבתי על זה שוב בכיוון של דוקר, ראיתי איזה פרויקט כזה של אנדרואיד בתוך דוקר
אגיד לך את האמת, אני יכול תוך חמש דקות לעשות מכונה וירטואלית וינדוס עם בלוסטקס, אבל מעדיף לא להשתמש בזה כי זה לא כל כך ניתן לסינון..
מה שהיה צריך לעשות זה לקחת איזה אנדרואיד עם רוט ולהתקדם איתו.

שואף

הנה אתר מוצלח
https://www.opencnam.com