Задать вопрос
@andreyvlru
менеджер-программист
linux

Как быстро скопировать 40 млн файлов на другой сервер?

Есть сервер с картинками
на нем 40 млн файлов, есть маленькие по 5-10 кб, есть побольше 50-100
Обычное копирование этого добра с одного сервера на другой через rsync идет очень медленно (несколько дней, а то и недель)

Есть ли какие-то варианты делать это не по файлам, а может сразу весь образ диска переписать
или копировать по секторам. Хотелось бы уметь это делать за несколько часов.
  • Вопрос задан
  • 9262 просмотра
5 комментариев
Подписаться 11 Оценить 5 комментариев
Решения вопроса 1
gbg
@gbg Куратор тега Linux
Любые ответы на любые вопросы
Как-то так:
dd if=/dev/sda bs=65536 | ssh target-ip 'dd of=/dev/sda bs=65536'.

На агрегированном канале 2x1Gbit выдает 100 мегабайт в секунду. Если подшаманить размеры блока bs= и mtu, и еще шифрование у ssh выключить, можно, я думаю, и все 200 мегабайт выжать.

Проводить, на отмонтированном! (или смонтированном в readOnly) диске!
Не зря dd расшифровывается как DestroyData.
Варианты настройки шифрования (-c) и скорость (лучше - больше):
ssh-cipher-speed-chart.png?w=630
Ответ написан
8 комментариев
8 комментариев
Пригласить эксперта
Ответы на вопрос 6
click0
@click0
Системный & сетевой архитектор
Я переносил через zfs send | zfs recv via ssh. Скорость была ограничена только скоростью чтения/записи HDD.
Ответ написан
1 комментарий
1 комментарий
jcmvbkbc
@jcmvbkbc
"I'm here to consult you" © Dogbert
tar -cC source-dir . | ssh target-ip "tar -xC target-dir"
Ответ написан
Комментировать
Комментировать
IlyaEvseev
@IlyaEvseev
Opensource geek
Обзор разных способов быстрого копирования:
moo.nac.uci.edu/~hjm/HOWTO_move_data.html
Ответ написан
Комментировать
Комментировать
@inkvizitor68sl
Linux-сисадмин с 8 летним стажем.
rsync по каталогам через GNU parallel.
Ответ написан
Комментировать
Комментировать
vato35
@vato35
ИТ-специалист, занимаюсь инвестиционными проектами
Основная проблема - как размещены файлы по дереву каталогов. Часто затык связан с построением списка файлов, а не с его обработкой.
Ответ написан
Комментировать
Комментировать
@pfg21
ex-турист
если межсерверная сеть полностью контролируема и никого лишнего в ней нет, то вместо ssh можно заюзать netcat. минус шифрация == плюс к скорости/ресурсам
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Программист C для Embedded Linux
Radiofid • Санкт-Петербург
от 120 000 до 180 000 ₽
Linux Администратор DevOps
ИМАГ • Москва
от 150 000 до 170 000 ₽
Программист C/C++ embedded Linux
РТК Автоматика • Москва
от 170 000 до 250 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Доработать клиентское приложение для GTA 5 на C#
20 апр. 2024, в 00:51
1000 руб./за проект
Верстка и логика формы выбора билетов в зале для покупки
20 апр. 2024, в 00:43
10000 руб./за проект
Разработать формирование УПД на Java
20 апр. 2024, в 00:28
20000 руб./за проект
Ещё заказы