Как сделать пагинацию с MongoDB?

Странно, имеется база в 100к документов, получаю выборку с лимитом и отступом буквально за 0.0... секунды. Может сам запрос косячный? Или структура косячная. Я просто в силу структуры базы использую в основном агрегирование, есть такой жесткий запрос, если разложить его то строк на 100 получится )) работает молниеносно, доли секунды. Тестировал с 7 обычными запросами и с агрегированием, второе в итоге по времени в разы быстрее дергает данные, если учесть что перебор контента в 7-10 подходов, а так потребовалось бы 7-10 запросов делать. На сколько я помню при профилировании эти 7-10 запросов выполнялись порядка 2-3 секунд, с агрегированием за 0.1-0.2сек данные уже готовые выплевывает. Какая версия mongodb, покажите структуру документа и как дергаете записи.

последняя mongodb 2.0.27, обычной асинхронной db.col.find().skip(5000).limit(10)

Станислав: stackoverflow.com/questions/10072518/what-is-the-b... вот например рекомендации к эффективности

Stopy: последняя вобще 3.0.Х docs.mongodb.org/manual/. Я не использовал mongodb ниже 2.6, может там действительно на более ранних версиях фигово работает skip да limit

Станислав: при 50000 записях обращение к последней странице с зажатым F5 ожидание проседает за 1.5 секунды, щас обновлю и перепроверю)

Станислав: мда, после обновления при зажатии задержка стала увеличиваться экспоненциально, а при простом обращении задержка около секунды

Станислав: и кстати на npm последняя версия mongodb@2.0.40

по замерам в продакшене каково распределение запросов между страницами 1-10 и 5000-5010 ?

Александр Мелеховец: я не в продакшене ведь меряю, при 50 тысячах записей к первой странице обращается за ~0.3сек, к последней секунду. но разве на эту секунду он не зажрет все ресурсы сервера?

Кстати если не делать перед skip, limit сортировки, то запрос к любой странице выполняется не дольше 0.015 секунд. Эксперты, есть идеи?

Stopy: для запроса с сортировкой есть соответствующий индекс?

Stopy: У себя смотрю, в результате формирование страницы целиком 250-300ms, что на первой странице, что в середине, что на последней, время одно и тоже, даже при нажатии на F5. Это при том что шаблон сформировать надо, скрипты загрузить со стилями, картинки. Кстати в продакшене включается какие то плюшки кеширования, я на не продакшене проверить не могу в данный момент, но когда разрабатывал систему не замечал что где то тормозит что то.

На сервере стоит:
Node.js 0.12.6
MongoDB 2.6.10

По серверу:
Ubuntu 10.04 (при том что x32). Сейчас собираюсь ставить 14.04 х64 и ставить MongoDB 3.0.Х
Xeon 2x2000
Оперативки 4GB
Диск 100GB RAID-10 HDD с SSD-кешированием

Вобще проблем с обработкой данных не вижу, хотя железка мягко говоря не очень.

Александр Мелеховец: в смысле по какому критерию собираюсь сортировать? или вы о чем то другом?

Станислав: могу увидеть ваш ресурс? и как вы сформировали ваш запрос к базе

Stopy: да, фильтровать и сортировать. Судя по тому, что вы задаёте такие вопросы, могу предположить, что индексов там нет. И оптимизация сводится к их созданию после изучения, что такое индексы и как их использовать.

Александр Мелеховец: Похоже уже научился, напишу в ответы

lh3.ggpht.com/-YgkFG7oPp7Q/U5_tqSUq1eI/AAAAAAAADGQ...
успехов)

Александр Мелеховец: хах) спасибо, и вам