@Ivan2121

Как снизить потребление памяти при работе python-скриптов?

Здравствуйте! Написал парсер на питоне, ежедневно работает 6-7 скриптов одновременно. В диспетчере задач в таком случае висит несколько pythonw.exe процессов, 3-4 из которых сразу же после запуска забирают по 1.5 гб оперативной памяти. Но при этом я заметил, что спустя несколько часов уже только 1 или 2 процесса потребляются по 1.5 гб, а остальные в 10 раз меньше. Как же сделать так, чтобы и при запуске и дальнейшей работе потребляемая память питонов была не большой?
  • Вопрос задан
  • 1113 просмотров
Пригласить эксперта
Ответы на вопрос 2
@throughtheether
human after all
Как же сделать так, чтобы и при запуске и дальнейшей работе потребляемая память питонов была не большой?
Не видя кода, трудно о чем-либо судить, но совет могу дать. При парсинге, когда вы извлекаете характеристики "единицы" данных (товар интернет-магазина или твит в твиттере), вместо того, чтобы затем предавать в другую функцию список, содержащий множество "единиц" данных, передавайте их по одной при помощи yield.
Ответ написан
Комментировать
suguby
@suguby
программист, python, django, mysql, git, hg, linux
используйте не DOM парсер - он все кладет в память, а SAX парсер, например lxml.de
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы