VadimSoloviev
@VadimSoloviev
Человек из касты создателей

Как спарсить заголовки вопросов с сервиса otvet.mail.ru?

a4a13227d0834e31b88135746f14f352.png
Знаю что это можно сделать при помощи программы Content Downloader X1 но не знаю как.
  • Вопрос задан
  • 344 просмотра
Решения вопроса 1
dummyman
@dummyman
диссидент-схизматик
Держи готовый код для каспера:
// test.js
var links = [];
var casper = require('casper').create();

function getLinks() {
    var links = document.querySelectorAll('.pageQuestions .q--li a.q--li--text');
    return Array.prototype.map.call(links, function(e) {
        return e.innerHTML;
    });
}

casper.start('https://otvet.mail.ru/', function() {
   this.waitForSelector('.pageQuestions');
});

casper.then(function() {
    links = this.evaluate(getLinks);
});

casper.run(function() {
    this.echo(links.length + ' links found:');
    this.echo(' - ' + links.join('\n - ')).exit();
});


Запускаем:
$ casperjs ./test.js

Получаем:
20 links found:
 - Зачем охотники водку с собой берут на охоту ?
 - Нужно ли объяснять происхождение денег при покупке квартиры? Речь о 8-9 миллионах рублей.
 - Как не грустить в такое дождливое лето? как ни крути - а погода влияет на настроение...
 - Я русская, но живу в Дагестане. И вот в школе дети-дагестанцы издевались и унижали меня из-за моей нации
 - У вас есть вера в то, что Путин начнет приносить пользу как это было еще лет 5 назад? Или только хуже и хуже будет?
 - Я карлик ростом 165 см как дальше жить? Что делать? Немогу больше так
 - А если ты пополнил стим кошелёк меньше 150 рублей, нечего не будет, никаких банов?
 - Как сами считаете, Вам идёт Ваше имя? Или какое другое было бы уместнее? ;-)
 - В России власть обязана быть Царем, Богом и Воинским начальником это не наша привычка к рабству а счастье быть империей?
 - Рыжая из гарри поттера, как актрису зовут?
 - Что будите делать, если каждый день - воскресенье? (и так до конца жизни)
 - Стучат копыта по асфальту. Кромешники скачут- подковами звеня. Опричники в чёрных кафтанах с собачьими головами .
 - hola недоступна прямо сейчас но мы работаем над этим что делать?
 - Где можно скачать мультфильм Галактический футбол в формате mp4? На телефон.
 - Как назвать канал на ютубе? Ребята помогите назвать канал на ютуб имя (Шахзада)
 - Есть фильмы похоже на Аутласт или на Палату
 - C каким философом вы бы себя сравнили и почему?
 - Опять о Минске, насчёт бензина.
 - Как ухаживать за проколотым носом?
 - Какой сценарический наряд красивее?
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Ответ один: cURL/phantom.js + регулярки.
Ответ написан
dimonchik2013
@dimonchik2013
non progredi est regredi
у контент даунлоадера форум же есть

+ интерфейс помогает выделять
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы