Как и куда реализовать бэкап большого объема данных?

Сервер хетцнер. Пытаюсь сделать на s3 но представьте сколько s3cmd ест памяти и цпу пока составляет список на сотни тысяч файлов... нужно делать без ущерба для работы и как можно чаще.

Сходу вижу два варианта.
1. Заказать еще один сервер и бекапить на него.
2. Вместо s3cmd использовать s3fs+rsync (но там FUSE).

s3cmd отвратно работает для данной задаче, т.к. компилирует лист файлов и отъедает кучу памяти тем самым, очень рад что попробовал родной aws cli, утилита идет по порядку и синхронизирует файлы, не тратя кучу памяти.

Доступ к которому возможен только с адресов своих же серверов.

ничего подобного, доступны со всех айпишников хетзнера

@opium ну ок, со всех серверов хетзнера.
Не у всех по 2 сервера в hetzner.

для бекапа это более чем достаточно тем более быстрого.

Про фтп хетцнера знаю, проблема если хетцнер умрет то бекап не вытащить

возьмите у них самый дешевый впс чтобы вытащить, к тому же у хетзнера есть рескуе моде когда сервер грузится по сети и легко вытаскивается бекап, да и в целом куда вы его собрались вытаскивать если у вас сервера то нет?

@opium в общем-то неважно куда вытаскивать, главное что бы данные не пропали в небытие и опять же, меня больше интересует не куда бекапить, а как.

ну просто по фтп или самбе туда
решений для бекапов в инете куча

А как из линукса писать через консоль в облако@mail.ru? Судя по хелпам они это не реализовали :(

Zegaldis а сейчас черт знает, они похоже webdav прикрыли

с с3 никак
жрет оно слишком много памяти на большом количестве файлов так как написано на питоне
в свое время переписывал сырцы для оптимизации даже