Есть сайт, на котором больше контента появляется только тогда, когда прокрутишь страницу вниз до конца, как в ютубе. Так вот, что мне сделать, чтобы получить код страницы, прокрутив содержимое несколько раз? Использую язык C#.
Максим Тимофеев, то есть прокрутить вниз, подождать подгрузки порции контента, и так несколько раз, чтобы в итоге страница была с большим количеством данных
Тогда надо посмотреть, какие запросы шлет страница. Они идут асинхронно, их можно найти в консоле в панели разработчика в любом браузере. Скорее всего там есть параметр, типа page, так что можно просто циклом перебирать, отправлять curl-ом запросы, инкрементируя page, пока не получаете ошибки 404, например.
Если дадите ссылку на эту динамическую веб страницу - будет больше конкретики.
Нужно разобраться с тем, как работает страница - там должен быть какой-то javascript, который обрабатывает прокрутку, и отправляет запрос на очередную порцию страницы.
Следовательно можно посмотреть какой запрос он отправляет, и выполнять эти запросы самостоятельно, указывая параметры.
Но для такого реверс-инженеринга нужно как минимум разобраться в javascript и http/https
Средний
Простой
