Задать вопрос
gadzhi15
@gadzhi15
python

Scrapy на Python3. В чем ошибка?

Создал паука
# /usr/bin/env python3.5

from quoka.items import QuokaItem
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.loader.processors import TakeFirst
from scrapy.loader import XPathItemLoader
from scrapy.selector import HtmlXPathSelector

class QuokaLoader(XPathItemLoader):
    default_output_processor = TakeFirst()


class QuokaSpider(CrawlSpider):

    name = "quoka"
    allowed_domains = ["quoka.de"]
    start_urls = ["http://www.quoka.de/immobilien/bueros-gewerbeflaechen/"]

    rules = (
             Rule(LinkExtractor(allow=('kleinanzeigen/cat_27_2710_ct_0_page_')), follow=True),
             Rule(LinkExtractor(allow=('immobilien/bueros-gewerbeflaechen/')), callback='parse_item'),
             )

    def parse_item(self, response):
        hxs = HtmlXPathSelector(response)
        l = QuokaLoader(QuokaItem(), hxs)

        #
        l.add_xpath('date',response.xpath("/html/body/div[3]/div[2]/div[1]/main/div[8]/div/div[2]/strong/span/text()").extract())
        l.add_xpath('cost',response.xpath("/html/body/div[3]/div[2]/div[1]/main/div[8]/div/div[3]/div[2]/div[2]/text()").extract())
        l.add_value('url', response.url)

        return l.load_item()


Файл items:
# -*- coding: utf-8 -*-


import scrapy
from scrapy.item import Item, Field


class QuokaItem(Item):
    name = Field()
    date = Field()
    cost = Field()
    length = Field()
    description = Field()


При запуске паука выводить следующее сообщение:
quoka_spider.py:10: ScrapyDeprecationWarning: __main__.QuokaLoader inherits from deprecated class scrapy.loader.XPathItemLoader, please inherit from scrapy.loader.ItemLoader. (warning only on first subclass, there may be others)
  class QuokaLoader(XPathItemLoader):


В чем загвоздка ?
  • Вопрос задан
  • 827 просмотров
Комментировать
Подписаться 1 Оценить Комментировать
Решения вопроса 1
urtow
@urtow
*nix, python, QA, bagpipe, folk music
Это не ошибка - это Warning.

Этот варнинг сообщает о том, что класс scrapy.loader.XPathItemLoader объявлен Deprecated и стоит использовать вместо него scrapy.loader.ItemLoader

Что это значит?

Это значит, что разработчики решили, что scrapy.loader.XPathItemLoader стоит выкинуть и вместо него сделать новый scrapy.loader.ItemLoader. Чтобы не ломать существующее ПО, они добавили Warning при запуске. То есть все работает как раньше, но в лог пишется - обновись и все.

Что можно сделать?

Поступить правильно - использовать scrapy.loader.ItemLoader
Поступить неправильно - забить. Работает же
Ответ написан
2 комментария
2 комментария
Пригласить эксперта
Ответы на вопрос 1
gadzhi15
@gadzhi15 Автор вопроса
Дабы не плодить новую тему:

Запускаю из консоли scrapy crawl quoka_spider.py

Выводить следующее:
/home/gadzhibala/PycharmProjects/test_project/quoka/quoka/spiders/quoka_spider.py:11: ScrapyDeprecationWarning: quoka.spiders.quoka_spider.quokaLoader inherits from deprecated class scrapy.loader.XPathItemLoader, please inherit from scrapy.loader.ItemLoader. (warning only on first subclass, there may be others)
  class quokaLoader(XPathItemLoader):
2016-07-17 12:30:11 [scrapy] INFO: Scrapy 1.1.1 started (bot: quoka)
2016-07-17 12:30:11 [scrapy] INFO: Overridden settings: {'SPIDER_MODULES': ['quoka.spiders'], 'BOT_NAME': 'quoka', 'ROBOTSTXT_OBEY': True, 'NEWSPIDER_MODULE': 'quoka.spiders'}
Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/scrapy/spiderloader.py", line 41, in load
    return self._spiders[spider_name]
KeyError: 'quoka_spider.py'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in <module>
    sys.exit(execute())
  File "/usr/local/lib/python3.5/dist-packages/scrapy/cmdline.py", line 142, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/cmdline.py", line 88, in _run_print_help
    func(*a, **kw)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/cmdline.py", line 149, in _run_command
    cmd.run(args, opts)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/commands/crawl.py", line 57, in run
    self.crawler_process.crawl(spname, **opts.spargs)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/crawler.py", line 162, in crawl
    crawler = self.create_crawler(crawler_or_spidercls)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/crawler.py", line 190, in create_crawler
    return self._create_crawler(crawler_or_spidercls)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/crawler.py", line 194, in _create_crawler
    spidercls = self.spider_loader.load(spidercls)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/spiderloader.py", line 43, in load
    raise KeyError("Spider not found: {}".format(spider_name))
KeyError: 'Spider not found: quoka_spider.py'


Как я понял ему что-то не нравится в имени файла.
Ответ написан
1 комментарий
1 комментарий
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Python developer
Bell Integrator
До 350 000 ₽
Team Lead (С++, Python)
TopAssistant • Москва
от 400 000 ₽
TeamLead Python
AGIMA • Москва
До 350 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Доработка Django приложения и исправление ошибок конфигурации
25 апр. 2024, в 20:14
1000 руб./за проект
Завершение разработки проекта на CS2
25 апр. 2024, в 20:02
100000 руб./за проект
Требуется завершить backend (проектная работа)
25 апр. 2024, в 19:42
49000 руб./за проект
Ещё заказы