@kirill-93

Как импортировать большой объем данных в ClickHouse?

Пытаюсь перевести проект на ClickHouse. Установил, настроил. Все хорошо.
Теперь встала задача перенести существующую аналитику. Сделал дамп в csv, получилось около 12ГБ (30млн записей).
В таблицу, в которой нет PARTITION BY такой дамп вставляется быстро. А в таблицу с PARTITION BY его вставить невозможно.
Сыпятся ошибки с max_partitions_per_insert_block, max_memory_usage, max_parts_in_total и тп.
Как импортировать данные?
  • Вопрос задан
  • 602 просмотра
Пригласить эксперта
Ответы на вопрос 1
@m11
Вероятно результат выражения PARTITION BY слишком редко повторяется в строках дампа. Можно попробовать выбрать другое, более крупное, например недели или месяцы вместо дней, а также отсортировать дамп по этому значению перед вставкой.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы