@Zimaell

Амазон блокирует все парсеры?

Несколько месяцев я использовал обычный парсер товаров амазона, PHP+CURL+PROXY, работало все нормально, и вот сегодня где-то после обеда все поломалось, в смысле код не изменялся и все работало стандартно, но амазон на запрос какой либо страницы (хоть напрямую, хоть через один из тысяч прокси) выдает 503...
Раньше такого не было, чтобы все все ответы 503.
Подскажите кто сталкивался, думаю здесь есть те кто так же парсит амазон, как решить данную проблему? Или это у них время от времени бывает такой заскок?
Ведь через браузер заходит нормально, а через curl, вот пример

$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
$headers=array(
	'Host: www.amazon.de',
	'User-Agent: '.$user_agent,
	'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
	'Accept-Language: en-US;q=0.5,en;q=0.3',
	'Accept-Encoding: gzip, deflate, br',
	'Referer: https://www.amazon.de/',
	'Connection: keep-alive',
	'Upgrade-Insecure-Requests: 1'
	);
curl_setopt($ch,CURLOPT_HTTPHEADER,$headers);
curl_setopt($ch,CURLOPT_USERAGENT,$user_agent);
curl_setopt($ch,CURLOPT_TIMEOUT,30);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,30); 
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,FALSE);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,TRUE);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,FALSE);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,FALSE);
curl_setopt($ch,CURLOPT_HEADER,TRUE);
curl_setopt($ch,CURLOPT_POST,FALSE);
curl_setopt($ch,CURLOPT_ENCODING,"");
$content=curl_exec($ch);
curl_close($ch);

никак не хочет, только 503 ответ, и повторюсь это произошло сегодня а раньше такого не было...
так что если у кого-то есть вариант решения данной проблемы то подскажите если не сложно.
  • Вопрос задан
  • 534 просмотра
Пригласить эксперта
Ответы на вопрос 2
inoise
@inoise Куратор тега PHP
Solution Architect, AWS Certified, Serverless
Amazon работает на AWS, в AWS есть CDN CloudFront, в CloudFront есть WAF (Web Application Firewall), WAF работает на машинном обучении. Если вы не купите proxy из другой части света и не измените до неузнаваемости сигнатуру запроса то никак - машинка уже вас оценила, взвесила и за километр чует
Ответ написан
pligin
@pligin
быдлокодер
А я не вижу в CURL proxy...
Поставь на сервер прокси Тор и добавь в CURL
curl_setopt($ch, CURLOPT_PROXY, 'localhost:9050');
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);

может поможет ;)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
29 мар. 2024, в 10:00
10000 руб./за проект
29 мар. 2024, в 09:59
750 руб./в час
29 мар. 2024, в 09:55
50000 руб./за проект