weranda
@weranda

Почему запрос не возвращает ответ в Scrapy?

Приветствую

КОД:
import scrapy
from scrapy.spiders import CrawlSpider
from scrapy import Request


class TestSpider(CrawlSpider):
	name = "test_spyder"
	allowed_domains = ["toster.ru"]
	start_urls = ['https://toster.ru/tag/scrapy/questions']

	def parse(self, response):
		title_1 = response.xpath('//h1/text()').extract_first()
		next_url = 'https://toster.ru/tag/crawling/questions'
		title_2 = Request(url=next_url, callback=self.parse_some)
		yield {'title_1': title_1, 'title_2': title_2}

	def parse_some(self, response):
		return response.xpath('//h1/text()').extract_first()

Не пойму почему вместо второго заголовка возвращается запрос:
{"title_1": "Scrapy", "title_2": "<Request GET https://toster.ru/tag/crawling/questions>"}

По идее должно возвращаться два заголовка: Scrapy и Crawling.
Укажите пожалуйста на ошибку и как ее исправить в конкретном коде. Если можно, то не предлагайте заполнять поле meta Request, а также ItemLoader's. Хотелось бы понять в чем конкретно ошибся здесь.
  • Вопрос задан
  • 100 просмотров
Пригласить эксперта
Ответы на вопрос 1
Извините, но в данном коде все неверно. Хотел начать писать подробно, но это будет целая статья а не ответ.
Попробуйте переделать туториал по scrapy шаг за шагом: https://doc.scrapy.org/en/latest/intro/tutorial.html
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы