Как лучше синхронизировать большое количество файлов в реальном времени?

Question

vovansystems @vovansystems

Как лучше синхронизировать большое количество файлов в реальном времени?

Есть два сервера (debian) в разных датацентрах. Будет настроена балансировка. Требуется синхронизировать в реальном времени директории с тысячами мелких файлов мелкого объёма. В минуту будет добавляться около мегабайта данных (около 10 файлов всего). Какой инструмент для этого лучше выбрать?

Какие есть хорошие варианты? Смотрел в сторону NFS, rsync daemon, iSCSI, но у них у каждого свои недостатки…

Вопрос задан более трёх лет назад
7188 просмотров

Комментировать

Подписаться 11 Оценить Комментировать

Пригласить эксперта

Ответы на вопрос 2

4 комментария

vovansystems @vovansystems Автор вопроса

спасибо, изучаю — буду тестировать.

а не подскажете ли чем lsyncd+rsync отличается от lsyncd+csync2 (для двустороннего зеркалирования разработчик рекоммендует именно второй вариант..)

Написано более трёх лет назад
Ilya Evseev @IlyaEvseev

rsync умеет синхронизировать только в одну сторону, csync2 в обе.
rsync сравнивает текущее фактическое состояние, csync2 дополнительно проверяет запомненное состояние на момент предыдущей синхронизации.

Написано более трёх лет назад
Алексей Сундуков @alekciy

Поддержу IlyaEvseev, кроме того рекомендую использовать lsyncd версии >=2.1, потому как там перешли на fanotify. (который в отличие от inotify не требуешь вешать на каждую вложенную папку отдельный дескриптор, кроме того ядро может накапливать события на период перезапуска демона в том время как inotify эти данные потеряет).

Написано более трёх лет назад
vovansystems @vovansystems Автор вопроса

да, так и хотел настроить но спрошу сначала: fanotify уже не глючит и нормально обрабатывает все события (перемещение, например)? читал много жалоб старых, интересно как дело обстоит сейчас. и можно ли ронять демон lsyncd надолго (допустим на полчаса) — всё ли он корректно обработает при запуске (теоретически — да :) )?

Написано более трёх лет назад

5 комментариев

shadowalone @shadowalone

5-6к файлов, не очень мелких, полет нормальный, серваки разнесены в разные ДЦ, но канал стабильно-широкий между ДЦ.

Написано более трёх лет назад
vovansystems @vovansystems Автор вопроса

поскольку всё оно работает на FUSE есть вопрос — какая скорость на чтение/запись у Вас в среднем? (многоу кого читал про 20 мб/с и 3 мб/с)

и ещё вопрос относительно консистентности при проблемах со связью — не было никаких проблем? мусора внутри файлов?

Написано более трёх лет назад
shadowalone @shadowalone

скорость к сожалению сейчас не могу замерить, но проблем не испытавали. А вот по файлам, точно ничего не было (мусора), сразу сказалось бы. Но, прошу учесть, как я писал выше, файлы не прямо мелкие совсем, в среднем по 15-20м

Написано более трёх лет назад
vovansystems @vovansystems Автор вопроса

померяйте, пожалуйста, скорость, если будет возможность. очень интересует запись, а тест на виртуалках на у меня на ноутбуке не будет показателен :)

Написано более трёх лет назад
shadowalone @shadowalone

Я очень извиняюсь, я сейчас в поездке, буду дома после 20-го числа, с удовольствием померю и отпишусь.

Написано более трёх лет назад