На сервис приходит большое количество людей, и о каждом посетителе пишется информация в базу. Получается очень много маленьких запросов на вставку.
Чтобы улучшить ситуацию, решил собирать данные в какое-нибудь промежуточное хранилище и раз в минуту вставлять пачкой в MySQL.
Какой инструмент для этого подойдет?
Для вашей задачи проще будет использовать Redis. Если у вас в проекте будут на постоянке использоваться очереди, тогда уже можете смело устанавливать и ковырять кролика.
А вообще, для вашей задачи можно просто использовать запись в файл) пишите в него и раз в минуту читаете и очищаете - чем не очередь?)
На мой взгляд, брокер тут не нужен. Просто собираете в Redis, а потом это все забираете в мускул. А брокер - это скорее про выполнение тяжелых процессов, которые ставятся в очередь.
Из редиса данные могут потеряться в случае сбоя. Если записей прям ОЧЕНЬ много, можно поставить kafka с микробатчами, и из кафки перекладывать в mysql.
