@Arkkienkeli

Почему scrapy не принимает больше одного cookie?

Здравствуйте.
Суть вопроса такова: есть некий сайт, на него я логинюсь с помощью phantomjs, получаю json файл с куками.
После этого я хотел бы отдать эти куки scrapy, чтобы scrapy логинился и забирал информацию с сайта.

При тесте кода приведенного ниже на httpbin.org/cookies, нет полученных кук.
Если задать индекс, например cookies[0], то на httpbin.org/cookies я получаю одну куку (что предсказуемо). Но нужно отдать все из json файла.

class MySpider(BaseSpider):
    name = 'MySpider'
    start_urls = ['http://site.ru']

    def get_cookies(self):
        os.system("phantomjs ~/ph.js")
        with open('cookie.json') as data_file:    
            data = json.load(data_file)
        print data
        return data

    def parse(self, response):
        cookies = self.get_cookies()
        return Request(url="http://httpbin.org/cookies", cookies=cookies,
            callback=self.after_login)

    def after_login(self, response):
        print response.body_as_unicode().encode('utf-8')
  • Вопрос задан
  • 463 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы