Нормально ли хранить логи в основной базе?

Добрый день!

Столкнулся с вопросом.. суть следующая. Есть логи пользователей сервиса, которые нужны для дальнейшей обработки (возможно, хранить нужно последние 2-3 месяца), в день набегает примерно 250к записей, в перспективе, может вырости до 20-30 миллионов. Сейчас они хранятся в той же базе, где и данные пользователей, есть некое желание вынести это куда-то. Данные имеют четкую структуру, поэтому у noSQL не вижу плюсов для выбора..

Может кто-то подскажет чего из личного опыта..

P.S.
Транзакции не используются т.к. очень важными их назвать нельзя, больше справочник того, чем пользуются (и сколько) пользователи.
В дальнейшем, скорее всего будем выстраивать прогнозы по этим данным (с помощью машинного обучения)

Спасибо за внимание! Прошу прощения за стиль написания вопроса (раннее утро, засыпаю)
  • Вопрос задан
  • 314 просмотров
Решения вопроса 2
sim3x
@sim3x
Храни в виде текста
Загружай в субд паком за час / день / неделю
Перед загрузкой нормализуй
Что ты там нашаманишь в итоге - никто не знает
Так что следи за таймингами основных запросов
Ответ написан
Комментировать
darthunix
@darthunix
Знаю PostgreSQL, Ubuntu, DICOM и медицину.
Ну если основная база от логов сильно распухает и транзакции вам для них особо не нужны - вынесите логи через plproxy в другую базу (на другом диске/сервере - не важно). Храните их в нормализованном виде и анализируйте, будет вам счастье. И основная база будет компактной, и нагрузка на неё будет меньше, и логи хранятся в таком же PostgreSQL (чем меньше зоопарк, тем проще с ним жить)
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
index0h
@index0h
PHP, Golang. https://github.com/index0h
eto-norma_17169846_orig_.jpeg
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы