Задать вопрос
@odmin4eg
linux

Многопоточная Передача файла ~200Gb между 2мя серверами?

Всем хорошего дня, столкнулся с бедой… есть 2 физически отдалённых друг от друга сервера.


есть файл бэкап сайта весом в ~200гб

качаю через wget скорость на уровне 800килобайт в секунду, это примерно 3 дня перекачивания


на сервере где он сейчас лежит свободно ещё 140гб, то есть поделить файл тем же 7z на части и качать как кучу файлов я не могу.


если между этими серверами я начинаю качать ещё один файл, то скорость не падает.


попробовал aria2c -j 10 /

не помогает особо, скорость скачивания также отображается на увроне 800-900кб…


думал про торренты, поставить 2 консольных торрент клиента, на одном создать торрент файл, на втором его взять…

но без трекера я так понимаю не будет это всё работать? — или ошибаюс,. а выкладывать в торрент дамп сайта не очень разумно


в общем нужны варианты а то 2.5-3 дня буду ацки долгими


заранее спасибо
  • Вопрос задан
  • 5858 просмотров
Комментировать
Подписаться 4 Оценить Комментировать
Решения вопроса 1
shogunkub
@shogunkub
Программист+Инженер-электронщик
А протокол какой? Для http/ftp в aria2 отдельная опция (-x) — количество соединений с одним сервером.
Ответ написан
1 комментарий
1 комментарий
Пригласить эксперта
Ответы на вопрос 6
laQie
@laQie
Для многопоточной загрузки можно попробовать Axel. Еще как вариант rsync.
Ответ написан
1 комментарий
1 комментарий
viperet
@viperet
Торрентом перелить проще всего, на одном сервере ставите на раздачу, трекеры не прописываете. На другом добавляете через magnet. Скачивание начинается, ваш бекап никуда не уплывет.
Ответ написан
1 комментарий
1 комментарий
ValdikSS
@ValdikSS
Какие ОС у вас на ПК? Тоже linux? Тогда смело выставляйте на обоих компьютерах в /etc/sysctl.conf это:
net.ipv4.tcp_slow_start_after_idle = 0

net.core.rmem_max = 4096 87380 4194304
net.core.rmem_max = 4194304
net.ipv4.tcp_wmem = 4096 65536 4194304
net.core.wmem_max = 4194304

net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_congestion_control = illinois

и потом sudo sysctl -p

И поднимайте http-сервер, как вы, похоже, делали ранее, и качайте через aria2 с такими параметрами:
aria2c --max-connection-per-server=12 --min-split-size=10M -s 12

Можете еще использовать какой-либо софт с UDP, но тут я вам особо не подскажу.
Ответ написан
Комментировать
Комментировать
Dolios
@Dolios
Бюджет?
Есть система специально заточеная на скоростную передачу файлов большого размера, используется, например, киношниками. Многопоточная или нет, не знаю, со своей задачей справляется. Но стоит недешево.

asperasoft.com/
Ответ написан
2 комментария
2 комментария
opium
@opium
Просто люблю качественно работать
Попробуйте лить через ssh
Ответ написан
Комментировать
Комментировать
@Ruslan_Voloshin
ИМХО иногда бывает быстрее с хардом пробежатся
Ответ написан
1 комментарий
1 комментарий
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Программист C для Embedded Linux
Radiofid • Санкт-Петербург
от 120 000 до 180 000 ₽
Linux Администратор DevOps
ИМАГ • Москва
от 150 000 до 170 000 ₽
Системный администратор Linux (SysOps)
Sipuni
от 180 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Настройка сервера
18 апр. 2024, в 21:56
2000 руб./за проект
Помощь с водпресс
18 апр. 2024, в 21:00
150 руб./за проект
Спарсить ссылки на все товары конкретного продавца в озон
18 апр. 2024, в 20:13
2000 руб./за проект
Ещё заказы