HTTPSConnection.getresponse() ...reesponse.read() протекает память. Нет?

Я хочу попросить Вас немножко подробнее об «вошел бы в функцию». Я пока что всего лиш начинаю знакомство с Питоном и поэтому понимаю не все ))

Как это — «вошел бы в функцию»? Вы имеете ввиду трассировку? Каким инструментом это сподручнее сделать?

Так pdb же. Если у вас это модуль и есть командная строка, то

python -m pdb <ваш_модуль> <опции>

если из консоли, то

>>> import my_module
>>> e = my_module.eBayItem(..., ...)
>>> pdb.run("e.doHTTPSrequest()") # в кавычках

В самом pdb набираете help, там список команд. s = step, пошагово с заходом в каждую функцию, n = next, не входя в функцию.

очень очень спасибо!!! я про такое раньше не знал.

Поправка — в примере для консоли я забыл написать import pdb.

Если нет — делайте локальным. Но ведь он и так уже сам по себе лишь свойство… Вон там, в 19й строке он определяется как свойство класса eBayItem. Разве можно еще локальнее? Намекните если так, буду очень признателен, если можно сделать еще локальнее то тут может и будет решение.

Как использую его далее могу только на словах рассказать потому что код на работе.., но в-кратце оно так: сначала создаю лист из объектов, у них конструктор принимает пару стрингов — первый 20-30 байт а второй 10-20 килобайт, все уникальные. Потом как в примере из книжки распараллеливаю запросы с помощью Thread и QUEUE. И через воркер в очереди запускаю методы doHTTPSRequest() готовых объектов класса eBayItem из заранее собранного листа.
После запуска очереди (от 20 до 50 параллельных соединений) все потоки корректно соединяются с сервером и получают ответ. Ответы self.data (32я строка в листинге, около 2-3 килобайта каждый) отдаются парсеру и результат складывается в отдельный лист. Собственно как я понимаю каждый объект тяжелеет на размер self.data = parseString(self.response.read()) когда завершается его тред. В листинге выше в 34й строке я ставил также del self.response но это не срабатывает. По окончании очереди на всякий случай делаю collect(). Ноль успеха. Если self.response.read() закомментировать а в self.data поместить 3-килобайтный эрзатц-ответ то питон потребляет 17 мегабайт памяти на 1000 объектов. Освобождает память и на автомате и вручную одинаково корректно. Если прогнать 1000х1000 то так и останется 17 мегабайт.

Наверное так на словах я непонятно объясняю, можно я в понедельник покажу «настоящий» листинг?

Локально — это только в самом методе, без self. Ждем понедельника:)

Win 7 64 Pro + Python 2.7

Вот есть похожая относительно свежая бага, но она при отключенном gc появляется; вы его, как я понимаю, не отключаете. Не пробовали разные инструменты из gc (например, посчитать ссылки до запуска и после)?

до не догадался, а после del и gc.collect() показывает пустой гэбидж

это как раз и понятно. И оттого что понятно становится только печальнее ))
Я уже попробовал и через промежуточный обьект, и вызывал .read() в качестве аргумента для парсера (так кстати выходит более «питонически» судя по документации). Но все едино — как только .read(), так сразу безвозвратно 250Kb улетает. Автоматический сборщик не чистит этот момент совсем ни разу…
Я пробовал и по-хорошему del-ом, и по злому collect-ом (чистил всю кучу). Пробовал через промежуточный объект и сразу его удалял, через свойство самого объекта класса тоже с удалением этого свойства всеми способами, кроме того — объекты класса eBayItem используются в модуле параллельных соединений с сервером и если хлопать сами объекты в том модуле после закрытия соединения — все равно память утекает. Объекта уже нет давно, а памяти демоны не отдают обратно…
Для чистоты сделал дамми для .read(), просто функцию которая отдает трехкилобайтный темплейт (пробовал варианты с random-ными 50- и 500-килобайтными ), и все получилось как положено — гэбидж почистился без персонального приглашения.
Пока что думаю что либо httplib протекает внутри где-то в области HTTPSConnection, либо что-то я где-то не так понял…

еще одно довольно неадекватное предложение… а если запросу сказать request.KeepAlive=false?

спасибо, попробую