Как быстро передать 100 Гб между двумя ПК в разных странах?

Необходимо на максимально возможной скорости передать более 100ГБ информации с сервера (Debian) на клиент (MacBook)

Попробовал с помощью torrent-а, на сервере создал раздачу, на клиенте начал качать, у обоих канал 100МБ/с.
Скачивание идет на скорости около 600кб/с - 1.7МБ/с

Замер SpeedTest от моего провайдера к провайдеру сервера (OVH) и также с OVH к моему провайдеру в приделах 87-95Мб/с.

Также сделал замеры с помощью iperf3, тут картина грустная, с использованием TCP скорость в среднем 8 Мбит/c, потолок 14 Мбит/с
Но при использовании ключа -u (UDP) скорость от 88 до 101 Мб/с

На сервере deluge, на клиенте uTorrent -> Возможно ли их заставить работать на протоколе UDP ?

И есть ли другие варианты передать такой большой обьем, без повреждений через UDP ?
  • Вопрос задан
  • 5239 просмотров
Пригласить эксперта
Ответы на вопрос 10
@Fixid
https://www.resilio.com/
Суммарно перегнал 6Тб
Выжирает весь 200мб/с канал между компом в России и сервером в США
Юзает UDP
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Необходимо на максимально возможной скорости передать более 100ГБ информации с сервера (Debian) на клиент (MacBook)
При такой постановке задачи подойдет любой FTP сервер и клиент, например бесплатный filezilla.

Попробовал с помощью torrent-а, на сервере создал раздачу, на клиенте начал качать, у обоих канал 100МБ/с.
Скачивание идет на скорости около 600кб/с - 1.7МБ/с
Так и должно быть.
Это у вас в интернет канал до 100МБ/с а на конкретное направление - как повезет. Попадется по маршруту канал в другую страну на 10МБ/с да еще и загруженный на 80% и все.
Чтобы торрент работал эффективно вам нужно создать пару десяток раздач на серверах в разных странах, и только тогда начать качать клиентом.
Преимущества торрента появляются только тогда, когда у вас десятки раздающих серверов разбросанных территориально.
Если у вас один раздающий сервер - лучше FTP использовать, быстрее будет.

И есть ли другие варианты передать такой большой обьем.
Быстро передать - менять провайдера, маршруты.
А если текущая скорость устраивает - качайте FTP.
Ответ написан
tsklab
@tsklab
Здесь отвечаю на вопросы.
Предложения:
использовать uTorrent с двух сторон;
проверить нет ли ограничений по скорости в настройка torrent-клиентов.

uTorrent -> Возможно ли их заставить работать на протоколе UDP ?
µTorrent переходит на UDP-протокол.
Ответ написан
uvelichitel
@uvelichitel
habrahabr.ru/users/uvelichitel
Я использую NFS на сервере потому что это удобно и достаточно быстро. Если нужно быстрее и инкрементально, то rsync -z (-z флаг компрессии). Так вы уже упретесь в скорость дисков. Если нужно еще быстрее (например у вас SSD в рейде), то быстрее netcat (nc) с компрессией по моему ничего нет
На macbook в целевом каталоге
$ nс -l 4444 | tar xzvf -
(4444 это порт, может быть любой. Порты меньше 1000, корневые каталоги да и вообще nc могут потребовать sudo)
На Debian сервере в каталоге источников
$ tar -czf - * | netcat -N адрес.макбука.доменноеимя.илиIP 4444
Если уж очень нравится UDP добавьте к nc командам флаг -u
Зачем в двухточечном соединении bittorrent протокол я не понимаю. По моему опыту даже с традиционным rsync вы раньше упретесь в дисковую подсистему. Но с rsync вы получите массу опций, быстрая инкрементая синхронизация малых изменений например и накопленый опыт туториалов, гайдов и мануалов.
Ответ написан
chupasaurus
@chupasaurus
Сею рефлекторное, злое, временное
В порядке бреда можно поставить на докере nginx, который будет отдавать необходимые файлы, а перед ним QUIC reverse proxy, качать на Маке через Chrome. Если интересно, могу накидать конфиг.
Ответ написан
profesor08
@profesor08
Поднимаешь одной строчкой (http-server -p 8080) простейший http-server в папке с файлом на сервере и качаешь по ссылке http://server-ip:8080/file_name любым удобным способом. Хоть одной строчкой
curl http://server-ip:8080/file_name --output file_name
.
Ответ написан
Комментировать
@BorisKorobkov
Web developer
Если ключевое слово "быстро", то со своим Макбуком на самолете слетайте в дата-центр и там по прямому подключению скопируйте всё. Также можно погуглить "Amazon Snowmobile".

Если ключевое слово "просто", то воспользуйтесь обычным консольным sftp-клиентом.
Ответ написан
Комментировать
@klepiku
используйте открытый трекер сервер и все будет не так грусно
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы