Как несколько раз отправить в Request один и тот же адрес несколько раз в Scrapy?

Я практикую написание скрипта Scrapy в одном файле. Да, эта строка вернет результат сразу. Но мне нужен сразу следующий результат. То есть ответ по следующему году и так далее. Однако я получаю только первый, потому что Скрапи по всей видимости думает, что я ошибочно запрашиваю одинаковые ссылки и по умолчанию блокирует их. Как отключить блокирование или как мне отправить реквесты с разными formdata?

Вы пробовали использовать приведённый пример?

Конструкция return завершает выполнение функции и возвращает результат вне зависимости от того, где эта конструкция была вызвана. Вы вызываете её в цикле - цикл сразу же прекращается, функция parse возвращает результат запроса.

Я написал пример функции, которая вернёт список с результатами семи вызовов. Не подходит?

Tark: Разумеется он не будет работать. Там будет что-то типа Request ответа, скорее всего обычный Get. Мой пример рабочий, но дело именно в настройке Скрапи. Неужели никто не использует Скрапи через один файл?

Tark: на всякий случай проверил. Да, как я и говорил, будет список из

Список из... Request?

В примере должно выполниться семь вызовов к link с помощью GET-запроса (по умолнчанию), и семь раз будет вызываться parse_year. Можно обратиться к response.body или response.url, чтобы посмотреть, что данные для вызова изменялись, что year каждый раз разный.

Давайте так. "Как несколько раз отправить в Request один и тот же адрес несколько раз в Scrapy" - не использовать в цикле return. Какая разница, в однм файле или не в одном всё это работает?

Вот, смотрите. i.imgur.com/YTu0rhU.png

Двадцать раз был сделан запрос по одному и тому же адресу. И?

В функции parse_item вы можете что-то сделать с полученной страницей (это response, обьект класса).
Пожалуй, не стоило совать Request в список, я был неправ. Просто уберите return из вашего цикла, пусть будет что-то типа

def parse(self):
    for data in years[1:8]:
        Request(link, formdata={'year': str(data)}, callback=self.parse_item)

def parse_item(self, response):
    # здесь идёт работа с response. 
    print "%s has been parsed and we got: %s" % (response.url, response.body)

Tark: Запрос был сделан 20 раз - верно, но ответ не был получен в этом примере. Насчет вашего самого последнего примера - и вот мы вернулись к тому, с чего начали: запрос 20 раз, а ответ один раз. Проблема в том, что Scrapy не дает отправить повторно один и тот же адрес. Убирает дубликаты. Я не просто так это пишу - я уже около 50 парсеров на нем написал, но такой проблемы не возникало. К примеру, рузультат лога:

2015-07-04 21:42:52+0600 [] DEBUG: Crawled (200) <GET http://www.huskyliners.com/> (referer: None)
2015-07-04 21:42:53+0600 [] DEBUG: Crawled (200) <GET http://www.huskyliners.com/> (referer: http://www.huskyliners.com/)
2015-07-04 21:42:53+0600 [] INFO: Closing spider (finished)

Tark: Я хотел сказать "попыток запроса 20 раз", а ответ один. По факту - это один запрос, второй уже не отсылается, ибо нельзя

У меня Python 3.4.3, требуется MS VC++ 2010 для установки scrapy. Сейчас поставлю и проверю...

Tark: Пожалуйста - https://www.dropbox.com/s/n57wowrac450afb/Dublicat...

Ох. Установил тучу всякой фигни, а потом узнал, что для работы scrapy нужен именно Python 2.7.
Зато прочитал документацию и узнал, что...

dont_filter (boolean) – indicates that this request should not be filtered by the scheduler. This is used when you want to perform an identical request multiple times, to ignore the duplicates filter. Use it with care, or you will get into crawling loops. Default to False.

Так что попробуйте в Request добавить dont_filter=True

Tark: Я еще подумал, неужели перекатили Scrapy в третью версию. Оказалось, что нет :) Вот, только что нашел сам ошибку (про dont_filter я знаю, он стоял уже в оригинальной версии). Вспомнил, что при использовании FormRequest используется yield вместо return. Но все равно огромное спасибо!