Как лучше синхронизировать большое количество файлов в реальном времени?

спасибо, изучаю — буду тестировать.

а не подскажете ли чем lsyncd+rsync отличается от lsyncd+csync2 (для двустороннего зеркалирования разработчик рекоммендует именно второй вариант..)

rsync умеет синхронизировать только в одну сторону, csync2 в обе.
rsync сравнивает текущее фактическое состояние, csync2 дополнительно проверяет запомненное состояние на момент предыдущей синхронизации.

Поддержу IlyaEvseev, кроме того рекомендую использовать lsyncd версии >=2.1, потому как там перешли на fanotify. (который в отличие от inotify не требуешь вешать на каждую вложенную папку отдельный дескриптор, кроме того ядро может накапливать события на период перезапуска демона в том время как inotify эти данные потеряет).

да, так и хотел настроить но спрошу сначала: fanotify уже не глючит и нормально обрабатывает все события (перемещение, например)? читал много жалоб старых, интересно как дело обстоит сейчас. и можно ли ронять демон lsyncd надолго (допустим на полчаса) — всё ли он корректно обработает при запуске (теоретически — да :) )?

Я тоже этим вопросом уже давно занимаюсь. glusterfs смотрел. Вы сами для таких задач его использовали?
У mirror очень затратны по времени операции с мета-данными, что выливается в серьезные тормоза при работе с большим количеством «мелких» файлов, особенно при восстановлении реплики.

5-6к файлов, не очень мелких, полет нормальный, серваки разнесены в разные ДЦ, но канал стабильно-широкий между ДЦ.

поскольку всё оно работает на FUSE есть вопрос — какая скорость на чтение/запись у Вас в среднем? (многоу кого читал про 20 мб/с и 3 мб/с)

и ещё вопрос относительно консистентности при проблемах со связью — не было никаких проблем? мусора внутри файлов?

скорость к сожалению сейчас не могу замерить, но проблем не испытавали. А вот по файлам, точно ничего не было (мусора), сразу сказалось бы. Но, прошу учесть, как я писал выше, файлы не прямо мелкие совсем, в среднем по 15-20м

померяйте, пожалуйста, скорость, если будет возможность. очень интересует запись, а тест на виртуалках на у меня на ноутбуке не будет показателен :)

Я очень извиняюсь, я сейчас в поездке, буду дома после 20-го числа, с удовольствием померю и отпишусь.

да, отдавать nginx'ом. у Вас интересное решение с проксированием того, что рассинхронизировано — мне понравилось.

Есть основной узел, на него идет запись, с него идет периодически rsync на второй.

но вот здесь узкое место — при падении основного хоста начнутся проблемы как минимум у редакторов, а хочется иметь master-master синхронизацию.

Rsync отрабатывает быстрее если его запускать в несколько потоков тут небольшой пример.

т.е. rsync каждый раз заново сравнивает всё дерево? а синхронизируете отдельно каждую директорию по 10 штук одновременно? если да, то интересно узнать количество файлов, папок, их общий размер и данные по iowait и la во время работы rsync

find генерирует список всех каталогов для xargs ( думаю можно уменьшить список с помощью -mtime, или держать его в файле ), xargs запускает паралельно ( -P 10 ) 10 rsync'ов по списку.
Примерно 120 тыс. каталогов, 17 млн. файлов, всего 3.5ТБ. На ненагруженном приемнике iowait 0-7%, la ~2. Rsync отрабатывает за 10 минут.

спасибо огромное за цифры!