@Arris1

Как спарсить email генерирующийся скриптом?

Добрый день!
На сайте https://whatpub.com/pubs/WLD/16721/admiralty-london email генерируется скриптом при клике на ссылку, mailto не используется. При клике просто открывается почтовый клиент по умолчанию. Как можно спарсить почтовые ящики при такой реализации?
  • Вопрос задан
  • 120 просмотров
Решения вопроса 1
@dimkabelkov
если вы про

"Send an email to the Pub"

то она имеет же ссылку, т.е. ссылку можно забрать, как ее забирать уже зависит от языка, так как есть разные либы под разный язык, но я уверен вы справитесь, например регуляркой

далее получив значение из href вы можете просто сделать запрос, я это сделать используя curl, Вы можете делать это с помощью того ЯП, в контексте которого задаете вопрос, на выходе я получил следующие

curl https://whatpub.com/email/pubs/WLD/16721/admiralty-london -v

< HTTP/1.1 302 Found
< Cache-Control: no-cache
< Cache-control: no-cache="set-cookie"
< Content-Type: text/html; charset=UTF-8
< Date: Wed, 23 May 2018 14:25:33 GMT
< Location: mailto:admiralty.events@fullers.co.uk?subject=Message from whatpub.com
< Server: nginx/1.10.3 (Ubuntu)
< Set-Cookie: XSRF-TOKEN=eyJpdiI6Ik55NksrQUNjZ0IrOEo2d0x0dXZFU0E9PSIsInZhbHVlIjoiWWNhM3owOUQ2NXI3RW9PNWxwVFRKVzl4WFlzOFQ1YVhKT1RuMnVTeHQwU2F4NzNrYzkyMnBQc3NiYzh5SzlRQ3BNdDhPWGhBbmJqY2Uwa1NlUEtLY2c9PSIsIm1hYyI6ImQ2M2YyZGUwMjZkOWQ5M2QwMmY4Njg3ZTg3ZGFmYzY5M2IwN2E5MzEzNmE5Mjk4YjZmYTBhZWYzMThkNjE3ZGYifQ%3D%3D; expires=Wed, 23-May-2018 16:25:33 GMT; Max-Age=7200; path=/
< Set-Cookie: laravel_session=eyJpdiI6ImFwbzZ5NWkwZDU3SEdWZUVrMkVzMlE9PSIsInZhbHVlIjoidU1mNXJaK011UlFFdCtXd0s3T0pickRCU3Zac2NDenR4M2JWTktpUFJtWFdGWUVvdmlWY29LZXBrYXgrVjBJcGw4SEJFR2xHdnk3bEFmblNIR3F5RkE9PSIsIm1hYyI6Ijc5OWMzYWY5OGJhOTVlMTg4MTQyMTdmODk0MTU1MTc0N2FjZDk4ZWM1OTRiMzcwZjI0YjU4MWFmOWMzZGQ5ODYifQ%3D%3D; path=/; HttpOnly
< Set-Cookie: AWSELB=01DD03530E67BFFC04B89C1AB1D725CF38FEFFFFB526A70FE6683D57BA12891CB04EB7AB8B044FF3DA7E868D235714949A89859BFF12F58076A3C9EEB7DE24264B41A9AF0C;PATH=/;MAX-AGE=3600
< Content-Length: 524
< Connection: keep-alive
< 
<!DOCTYPE html>
<html>
    <head>
        <meta charset="UTF-8" />
        <meta http-equiv="refresh" content="1;url=mailto:admiralty.events@fullers.co.uk?subject=Message from whatpub.com" />

        <title>Redirecting to mailto:admiralty.events@fullers.co.uk?subject=Message from whatpub.com</title>
    </head>
    <body>
        Redirecting to <a href="mailto:admiralty.events@fullers.co.uk?subject=Message from whatpub.com">mailto:admiralty.events@fullers.co.uk?subject=Message from whatpub.com</a>.
    </body>
* Curl_http_done: called premature == 0
* Connection #0 to host whatpub.com left intact
</html>


1) тут можно братить внимание на заголовки ответа или на его тело, вынув оттуда вам необходимый контент
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы