Как быстрее скопировать 600 тысяч файлов на удаленный сервер?

Question

Zabolots @Zabolots

Как быстрее скопировать 600 тысяч файлов на удаленный сервер?

Здравствуйте.
Нужно перенести 600 тысяч файлов небольшого размера (картинки) с сетевого хранилища (linux, есть sftp, nfs) на debian-сервер. Вопрос - как это сделать быстрее.
Попробовал в midnight commander через shell-соединение - долго (примерно два файла в секунду, скорость показывает 46 KB/s). Подскажите - как быстрее?

Вопрос задан более трёх лет назад
754 просмотра

2 комментария

Подписаться 7 Простой 2 комментария

Решения вопроса 1

5 комментариев

Zabolots @Zabolots Автор вопроса

Попробую. А не подскажете что быстрее - tar или zip без сжатия?

Написано более трёх лет назад
res2001 @res2001

tar по моему достаточно быстрый, учитывая, что это не архиватор.
Еще tar умеет архив кидать в stdout и получать из stdin при распаковке, с помощью этого механизма можно передавать без использования дополнительных файлов.

Написано более трёх лет назад
res2001 @res2001

Zabolots, Можно вот так например: https://habrahabr.ru/post/56049/

Написано более трёх лет назад
AVKor @AVKor

res2001,
учитывая, что это не архиватор.

tar (от tape archive) именно архиватор. Это виндовая неправильная традиция сложилась называть архиваторами программы сжатия информации. Изначальный (в никсах) смысл понятия соответствует именно тому, что делает tar.

Написано более трёх лет назад
zooks @zooks

Zabolots, Сожмите tar на лету и распакуйте тоже на лету.

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 4

6 комментариев

Zabolots @Zabolots Автор вопроса

Вы знаете, я тоже про это подумал и попробовал zip сделать с опцией -0 (без сжатия), но он минут 15 только писал scanning (то есть даже не начал делать архив - и я отменил). Но параллельно шло копирование - может из-за этого так медленно... счас еще попробую).

Написано более трёх лет назад
DrunkMaster @DrunkMaster

Zabolots, да небыстро, но вы в любом случае выиграете. Арихитейте всё не в 1 архив а например в 3-10 архивов
15 только писал scanning

С - спешка )))
Вечером поставьте всё архивироваться, если места хватит то у ктру получите архив

Написано более трёх лет назад
Эдуард Тибет @eduardtibet

Zabolots, если использовать два разных (физически) диска, то время резко сократится. И если без сжатия, то это будет = скорости записи на диск (30-100 Мб в сек.). Т.е. один диск - с файлами, а в другой пишется целевой файл.

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc
можно это делать вообще без создания промежуточного архива:
tar -c <каталог с файлами> | pigz -1 | ssh <сервер> "tar -xzC <место куда распаковывать на сервере>"
Написано более трёх лет назад
DrunkMaster @DrunkMaster

jcmvbkbc, а передача в этом случае начнётся когда архив полностью создатся или он по частям в процессе будет прередавать?

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc

DrunkMaster, передача и распаковка начнётся сразу.

Написано более трёх лет назад

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Linux

Простой
Почему не отрабатывает REISUB?
- 1 подписчик
- 5 часов назад
- 29 просмотров
0

ответов
Linux

+1 ещё

Средний
Как выглядят данные об авторизации linux?
- 1 подписчик
- 11 часов назад
- 97 просмотров
2

ответа
Linux

+1 ещё

Простой
Как сделать автоматическую проверку работоспособности и рестарт Apache и Mariadb в случае падения?
- 1 подписчик
- 12 часов назад
- 56 просмотров
2

ответа
Linux

Средний
При включении установочника Astra Linux — выдаёт ошибку «Error:out of memory», что делать?
- 2 подписчика
- 19 часов назад
- 199 просмотров
2

ответа
Linux

+1 ещё

Средний
Какой выбрать socks прокси и как правильно его настроить для большого количества юзеров?
- 2 подписчика
- вчера
- 95 просмотров
1

ответ
Linux

+1 ещё

Средний
Как распарсить вывод ifconfig/ip, чтобы показывало имя интерфейса, отвечающее за беспроводную сеть?
- 1 подписчик
- вчера
- 101 просмотр
3

ответа
Linux

+1 ещё

Простой
Повысит ли вынос ОС на отдельный SSD диск скорость работы стриминга на сервере?
- 1 подписчик
- вчера
- 109 просмотров
3

ответа
Linux

+1 ещё

Простой
Хочу поставить 11 Винду вместо своего текущего linux mint, но при выборе загрузочной флешки Линукс просто запускается как обычно, что делать?
- 1 подписчик
- вчера
- 152 просмотра
2

ответа
Linux

+1 ещё

Простой
Почему не приходят уведомления с grafana?
- 1 подписчик
- вчера
- 38 просмотров
1

ответ
Linux

+1 ещё

Простой
Как отправить письмо через mutt из терминала одной строкой?
- 1 подписчик
- вчера
- 68 просмотров
1

ответ
Показать ещё Загружается…

Программист C для Embedded Linux

Radiofid • Санкт-Петербург

от 120 000 до 180 000 ₽

Linux Администратор DevOps

ИМАГ • Москва

от 150 000 до 170 000 ₽

Системный администратор Linux (SysOps)

Sipuni

от 180 000 ₽

Дизайн лендинга

18 апр. 2024, в 10:33

20000 руб./за проект

Gulp, handlebarsjs - изменение темы сайта на ghost cms

18 апр. 2024, в 10:31

8000 руб./за проект

Symfony, Vue - Сервис автоматизации бизнеса натяжных потолков

18 апр. 2024, в 10:29

700 руб./в час

Напиши что вышло по времени разными способами
В итоге использовал tar без создания промежуточного архива и без сжатия.

Answer 1 · 2018-04-13 16:13:54

res2001 @res2001

Developer, ex-admin

Объедините их в один файл без сжатия и копируйте один файл, потом распакуете.
tar может это сделать.

Ответ написан более трёх лет назад

5 комментариев

Answer 2 · 2018-04-13 16:12:00

DrunkMaster @DrunkMaster

Надо заархивировать, закачать, разархивировать

Ответ написан более трёх лет назад

6 комментариев

Answer 3 · 2018-04-13 16:26:24

Roman Ratkin @Hanharr

rsync --progress -avz -e ssh /что/ user@server:/куда/

Ответ написан более трёх лет назад

Комментировать

Answer 4 · 2018-04-13 16:50:36

Скорость низкая из-за того, что большую часть времени процесс создаёт файлы, а не передаёт данные.

Сделайте пайп, состоящий из архивации в tar и передачи по ssh, после завершения передачи одним усилием распакуете с другой стороны tar. Правда не уверен, что это будет быстрее rsync, который уже предложили выше, нужно мерять.

Answer 5 · 2018-04-19 06:45:50

Использовать resilio sync
https://www.resilio.com/
Я использую его как для синхронизации, так и для копирования.
В линуксе работает через веб интерфейс.

Как быстрее скопировать 600 тысяч файлов на удаленный сервер?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт