Куда сохранять несколько миллионов записей из БД для последующей обработки?

У тебя в каждом ответе только "масштабировать" и "масштабировать". Даже если у человека скрипт на один раз — всё равно масштабировать. Тебе не кажется, что ты тот самый человек, у которого в руках молоток из известного антипаттерна?

Roman Kitaev, масштабирование бывает разным. Очень разным

Иван Шумов, просто задумайся. Я не советую менять свои показания или оправдывать их, я советую задуматься.

poisons, ну так-то, если все эти данные пришлось бы считать, то почему их не считать сразу, если оператива позволяет? Будет явно быстрее, чем по кусочкам тащить, мучая хард. Другое дело, что для этого нужно осознавать то, что ты делаешь и на чём это будет запускаться, а не просто делать так, "потому что".

Roman Kitaev, также нужно помнить, что сам SQL многие вещи может считать самостоятельно, причем значительно быстрее, чем внешний язык, и не забывать пользоваться этим.

Иван Мельников, быть хорошим мальчиком в целом хорошо.

Мне нужно на страницу большое дерево вложенности вывести

ldmitriy, дерево из нескольких миллионов элементов? уверены что браузер прожует такой DOM?
Лучше в вопросе подробно опишите вашу задачу, больше шансов на полезный ответ.