@Itvanya

Python 3.+ парсер ресурса с выводом из БД на GUI. Как лучше реализовать?

Ребята, всем доброго времени суток. Ранее не занимался парсингом, говоря честно, а в большей мере занимался разработкой на django + flask + frontend, поэтому не имею достаточно знаний для того, чтобы реализовать задачу с нуля.
Задача : написать html парсер, который выносит все данные из БД в GUI, но есть некоторые особенности.
- должна быть простая аутентификация, потому что ресурс закрытый и данные может извлечь только пользователь
- вывод будет на GUI в сортируемую таблицу(pyQt делает это из коробки вроде?) и графиком. Также должна быть выведена разница между новыми и старыми ценами.
- очень глубокое html дерево
- обновление БД должно быть каждый день, а после должен быть проведен анализ новых добавленных товар со старыми, а после вывод на GUI в сортируемые список
- вывод товаров сайта сделан с помощью pagination и ajax, поэтому парсер должен получать данные, учитывая эти особенности

Друзья, как и чем проще реализовать эту задачу, исходя из вышеперечисленных данных? Спасибо огромное за помощь!
  • Вопрос задан
  • 1347 просмотров
Пригласить эксперта
Ответы на вопрос 1
angru
@angru
Вариантов много:

1. requests + lxml
2. scrapy
3. grab

Только не понятно откуда все-таки данные грабить, из БД или какого-то закрытого ресурса. Парсер обычно не выносит никакие данные из БД в GUI, его задача: залезть на какой-нибудь ресурс, достать оттуда данные, преобразовать их структуру и сохранить в БД, xml, csv, json...

Почему бы просто не сохранять в csv, а в качестве GUI использовать Excel?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы