Как вариант писать данные в redis, в качестве ключа использовать 5 мин интервалы времени, заодно проставив им время жизни 15 минут. Таким образом не придется вычищать вручную старые данные из промежуточного хранилища.
Затем пишем простой скрипт, который запускается по крону раз в 3/5 минут, через redis-cli сформирует CSV или TSV файлы, запрашивая все данные по завершенному периоду (не текущие 5 минут, а предыдущие), который уже точно не пополняется новыми записями. И сразу же эти файлы добавляем в clickhouse.
