Многопоточная Передача файла ~200Gb между 2мя серверами?

Всем хорошего дня, столкнулся с бедой… есть 2 физически отдалённых друг от друга сервера.


есть файл бэкап сайта весом в ~200гб

качаю через wget скорость на уровне 800килобайт в секунду, это примерно 3 дня перекачивания


на сервере где он сейчас лежит свободно ещё 140гб, то есть поделить файл тем же 7z на части и качать как кучу файлов я не могу.


если между этими серверами я начинаю качать ещё один файл, то скорость не падает.


попробовал aria2c -j 10 /

не помогает особо, скорость скачивания также отображается на увроне 800-900кб…


думал про торренты, поставить 2 консольных торрент клиента, на одном создать торрент файл, на втором его взять…

но без трекера я так понимаю не будет это всё работать? — или ошибаюс,. а выкладывать в торрент дамп сайта не очень разумно


в общем нужны варианты а то 2.5-3 дня буду ацки долгими


заранее спасибо
  • Вопрос задан
  • 5295 просмотров
Решения вопроса 1
shogunkub
@shogunkub
Программист+Инженер-электронщик
А протокол какой? Для http/ftp в aria2 отдельная опция (-x) — количество соединений с одним сервером.
Ответ написан
Пригласить эксперта
Ответы на вопрос 6
laQie
@laQie
Для многопоточной загрузки можно попробовать Axel. Еще как вариант rsync.
Ответ написан
Торрентом перелить проще всего, на одном сервере ставите на раздачу, трекеры не прописываете. На другом добавляете через magnet. Скачивание начинается, ваш бекап никуда не уплывет.
Ответ написан
ValdikSS
@ValdikSS
Какие ОС у вас на ПК? Тоже linux? Тогда смело выставляйте на обоих компьютерах в /etc/sysctl.conf это:
net.ipv4.tcp_slow_start_after_idle = 0

net.core.rmem_max = 4096 87380 4194304
net.core.rmem_max = 4194304
net.ipv4.tcp_wmem = 4096 65536 4194304
net.core.wmem_max = 4194304

net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_congestion_control = illinois

и потом sudo sysctl -p

И поднимайте http-сервер, как вы, похоже, делали ранее, и качайте через aria2 с такими параметрами:
aria2c --max-connection-per-server=12 --min-split-size=10M -s 12

Можете еще использовать какой-либо софт с UDP, но тут я вам особо не подскажу.
Ответ написан
Dolios
@Dolios
Бюджет?
Есть система специально заточеная на скоростную передачу файлов большого размера, используется, например, киношниками. Многопоточная или нет, не знаю, со своей задачей справляется. Но стоит недешево.

asperasoft.com/
Ответ написан
opium
@opium
Просто люблю качественно работать
Попробуйте лить через ssh
Ответ написан
@Ruslan_Voloshin
ИМХО иногда бывает быстрее с хардом пробежатся
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы