@Cornelian

В каком виде правильнее хранить большие табличные данные на сервере?

Добрый день.
Появилась задача создания сайта с базой данных результатов неких научных измерений.
Изначально имеется набор csv файлов. Один столбец - DateTime, остальные могут выбираться из некоторого известного набора. ~300 000 строк и ~150 столбцов каждый файл (~400Мб). Суммарный объем 15-20Gb.
По запросу надо будет отдать сформированный csv c выбранным куском дат и столбцов из требуемого файла.

Есть ли смысл хранить такие данные не в виде csv, а в каком-нибудь PostgreSQL? На сколько быстро обработается запрос ~100 000 строк и 100 столбцов? Изменится ли ответ на первый вопрос при увеличении суммарного объема до 2Тб?
  • Вопрос задан
  • 594 просмотра
Решения вопроса 1
@dinegnet
Тожа ржу нимагу.

Ученые идиоты, да.
Ну дык поставьте зачет сообразительному студенту своему....
Канечна нужно использовать сервер баз данных. Да, например, PostgreSQL.
Для него упомянутые вами объемы просто смешны.

Хотя, вполне можно обойтись и CSV, при условии, что вам нужно отдавать результаты ПОДРЯД из CSV, а не искать их в разных местах файлов CSV.
При извлечении данных в разброс - лучше использовать именно специализированную СУБД.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы