Python, много threads внутри пары processes, какие queue юзать?
На много процессорной машинке нужно запускать несколько процессов ( == количеству процессоров ), в каждом процессе будет много-много потоков ( большинство в режиме ожидания ).
Как между ними задачи перекидывать, какой queue использовать, какие есть камни?
Да и вообще идея "много-много" потоков - плохая. Если нужно много-много потоков, то посмотрите в сторону gevent либы. Позволит Вам держать большое количество потоков (хотя там это не совсем потоки). "Как между ними задачи перекидывать" - если вы про потоки, то gevent реализует большое количество структура. В частности есть Queue.
Посмотрите в сторону zeromq,
один мастер который распределяет таски по воркерам (равные кол-ву ядер)
только не смешивайте zmq + gevent 1.0 - оно начинает глючить.
