Как правильно работать с ClickHouse в nodeJs?

Question

jenya7771 @jenya7771

Как правильно работать с ClickHouse в nodeJs?

Здравствуйте, есть сайт, на котором мне нужно сохранять все переходы на сайте, и так как это достаточно много данных по рекомендациям из сети я решил использовать ClickHouse. Из начального изучения этой БД я узнал что данные нужна вставлять пачками. И возник вопрос, как формировать и хранить эту пачку данных, чтобы после например один раз в минуту записывать в ClickHouse, и с какой библиотекой для nodeJs лучше работать?
Думал можно синхронно писать все переходы в файл, после сохранять в ClickHouse и удалять файл, этот способом годится, и как может себя проявить если на сайте будет миллион переходов в сутки?
Спасибо.

Вопрос задан более трёх лет назад
2665 просмотров

2 комментария

Подписаться 2 Простой 2 комментария

Решения вопроса 1

12 комментариев

jenya7771 @jenya7771 Автор вопроса

А что будет лучшим вариантом, с точки зрения нагрузки?

Написано более трёх лет назад
jenya7771 @jenya7771 Автор вопроса

Например если будет 100 миллионов?

Написано более трёх лет назад
Andrey Tsvetkov @yellow79

jenya7771, 100 миллионов тоже не нагрузка, особенно если она равномерно размазана по суткам.

Я бы написал небольшой скриптец на Lua, который подключается к Nginx и который тупо кладёт данные в Redis. И ещё один скриптец( go или nodejs) который раз в N секунд перекладывает данные из Redis в Clickhouse

Написано более трёх лет назад
jenya7771 @jenya7771 Автор вопроса

Andrey Tsvetkov, Подскажите как писать в редис, это ключь -> значение? Или писать всё в под одним ключём, сначала достать (JSON например), преобразовать в объект, добавить данные, преобразовать в JSON и сохранить?

Написано более трёх лет назад
Andrey Tsvetkov @yellow79

jenya7771, так извращаться не стоит. У redis есть более подходящие структуры хранения данных, например Sets. Данные каждого запроса вы вставляете методом lpush в ключ, название которого состоит из текущего времени, но только без секунд, то есть что-то типа 2018-11-28T08-50. При перкладывании данных в кликхаус вы ищете все ключи, за исключением ключа текущей минуты, достаёте данные из ключа, вставляете в кликхаус и после удаляете ключ из редиса

Написано более трёх лет назад
jenya7771 @jenya7771 Автор вопроса

Andrey Tsvetkov, Понял, спасибо, про метод lpush в redis не знал.
А если я буду писать в редис прямо из nodeJs, при каждом запросе к странице, это нормально будет?

Написано более трёх лет назад
Andrey Tsvetkov @yellow79

jenya7771, вполне.

Написано более трёх лет назад
jenya7771 @jenya7771 Автор вопроса

Andrey Tsvetkov, Спасибо!

Написано более трёх лет назад
fridary @fridary

Andrey Tsvetkov, подскажите, как лучше из веб-страницы обращаться на сервер, где будет сохранение в Redis? Через классический ajax post запрос?

Написано более трёх лет назад
jenya7771 @jenya7771 Автор вопроса

fridary, Других вариантов я не знаю, просто через http запрос, с токеном для авторизации если нужно, или через сессию.

Написано более трёх лет назад
Andrey Tsvetkov @yellow79

fridary, зависит от задачи, хоть аякс, хоть однопиксельные картинки

Написано более трёх лет назад
alexey_pirojok @alexey_pirojok

Можно обойтись без редиса, у кликхауса есть буферные таблицы, при достижении какого-то лимита, например 10000 строк, все записи из буферной перекидываются пачкой в основную. Буферная находится в оперативе, суть такая же как и с редисом, но зато не надо использовать лишнюю технологию, всё можно сделать в рамках кликхауса

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

1 комментарий

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Laravel

+2 ещё

Средний
Не удается подключиться к ClickHouse container?
- 1 подписчик
- 7 часов назад
- 38 просмотров
1

ответ
JavaScript

+2 ещё

Средний
Проблемы с telegram bot, а именно с сообщениями, как исправить?
- 1 подписчик
- 17 апр.
- 76 просмотров
1

ответ
ClickHouse

Простой
Как в ClickHouse выбрать данные с БД учитывая тайм зону?
- 2 подписчика
- 16 апр.
- 42 просмотра
1

ответ
Node.js

+1 ещё

Простой
Error during build: RollupError: Could not resolve. Как исправить ошибку?
- 1 подписчик
- 15 апр.
- 36 просмотров
2

ответа
JavaScript

+4 ещё

Простой
Что делать, если после залива приложения на VPS страница остается недоступной?
- 1 подписчик
- 15 апр.
- 86 просмотров
2

ответа
JavaScript

+2 ещё

Простой
Как на стороне сервера узнать что клиент закрыл браузер?
- 1 подписчик
- 13 апр.
- 170 просмотров
2

ответа
Node.js

Простой
Почему coverage в vitest не видит нужную версию node и падает?
- 1 подписчик
- 13 апр.
- 45 просмотров
1

ответ
Node.js

+1 ещё

Средний
Как подключиться к trust wallet при помощи node js?
- 1 подписчик
- 11 апр.
- 57 просмотров
1

ответ
Node.js

+1 ещё

Простой
Как загрузить в бакет Yandex Cloud файл, используя axios nodejs?
- 1 подписчик
- 11 апр.
- 35 просмотров
1

ответ
Node.js

+1 ещё

Простой
Почему prisma не делает миграцию?
- 1 подписчик
- 05 апр.
- 91 просмотр
0

ответов
Показать ещё Загружается…

Senior Backend Developer Node.js

Radium Finance • Москва

от 300 000 до 400 000 ₽

Node.js разработчик

ДАЛЕЕ • Москва

от 200 000 ₽

Node.js Developer (middle)

ROBOTMIA • Новосибирск

от 130 000 ₽

Доработать клиентское приложение для GTA 5 на C#

20 апр. 2024, в 00:51

1000 руб./за проект

Верстка и логика формы выбора билетов в зале для покупки

20 апр. 2024, в 00:43

10000 руб./за проект

Разработать формирование УПД на Java

20 апр. 2024, в 00:28

20000 руб./за проект

если на сайте будет миллион переходов в сутки

Сейчас сколько "переходов"?
jasonOk, Сейчас около 6000. Можно сказать тестовый режим

Answer 1 · 2018-11-24 11:48:07

Пишите переходы в какое-нибудь временное хранилище, файлик, редис, мемкеш, память. Раз в N секунд перекладывайте данные из временного хранилища в кликхаус. С вашими нагрузками(1млн в сутки) можно использовать абсолютно любое временное хранилище, так как это вообще не нагрузка

Answer 2 · 2021-08-24 15:36:49

Есть библиотека, которая из коробки предоставляет кэширование запросов в редис или память ноды и возвращает событие, когда пачка запросов зарезолвится. Думаю, что твою проблему это решит

Как правильно работать с ClickHouse в nodeJs?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт