Как можно спарсить имена всех пользователей в vk за приемлемое время?
Сейчас я делаю парсинг с помощью selenium и это не очень быстро.
1.Как можно предотвратить загрузку всей страницы, а загружать только нужную информацию(что должно сократить трафик и ускорить загрузку).
2.Насколько поможет переписывание запросов в несколько тредов, есть ли какие то ограничения со стороны сервера?
3.Насколько реально поддерживать информацию в актуальном виде, т.е. какое будет запаздывание между двумя полными проходами по всем id? И как определить последний id?
TODO: Здесь будут ворованные умные мысли, типа мои
Пишите парсер на любом ЯП который знаете, через VK api перебирая id забирайте имена.
Или поищите может кто продаст базу с нужными вам данными, ВК (и не только он) уже вдоль и поперек распарсен. Последнее могу устроить.
но мне непонятны условия использования vk api, что значит 1000 за раз? это за сутки? в секунду? и что нужно чтобы зарегистрироваться? возможно ли сделать win приложение, а не приложение в браузере?
1000 за один запрос (, перечисленные через запятую ID пользователей или их короткие имена (screen_name). Максимум 1000 пользователей.) Не более 3 запросов в секунду. Но если взять токен от лица оф. приложения того же Ipad, то можно 5ть зпросов. Дальше можешь в C# например создать класс обрабатывающий json, и писать в бд. 5000 чел. в сек. Если нужно что-то по конкретнее объяснить, могу подсказать пиши вк vk.com/scrypto
Можно и это, но я все сам делал, мне так проще. Кусок кода могу. Но немного позже. А так пока погугли System.Runtime.Serialization.Json - Это чтобы ответы от вк сразу получать в нужном формате. webclent - Это чтобы отсылать и получать данные с вк. Ну и собственно сам api, там вообще ничего сложного.
Средний
Простой
