Посчитал, что оптимальным вариантом по деньгам, чтобы иметь большое медленное хранилище и быстрое маленькое, является аренда двух серверов hetzner, один "быстрый" с мелкими NVMe дисками и большим кол-вом ОЗУ, второй с большими медленными дисками. На оба сервера поставил ESXi, на "медленный" сервер поставил FreeNAS, собрал диски в зеркало, подключил быстрый сервер по NFS к медленному.
Столкнулся с главной проблемой - скорость по CrystalDiskMark на медленном датасторе, подключённом по NFS, уступает скорости даже дискам, подключённым по SMB в локалке. Второе - при закгрузке торрента на диск, подключённй по NFS, скорость бесконечно плавает от 30 до 1 мБ\с, больше склоняясь к нижней планке, соединение между серверами - гигабитное. Пробовал без сжатия и дедупликации - то же самое.
Должна ли вообще подобная схема хорошо работать?
Какие есть альтернативы?
Владимир Кивва, критерий истины - практика. Вот теперь попробуйте на практике iSCSI - и сравните - может быть в Вашем частном случае оно даст выигрыш.
Зачем на втором хосте гипер вообще, если его задача держать одну машину? Возникает совершенно лишний слой. Поставьте на "медленный" сервер обычный линух, на нем поднимите iSCSI - и подключите стор к ESXi. iSCSI хорош хотя бы тем, что работает на уровне ниже виртуалок - вопросами обеспечения ввода-вывода занимается не виртуалка, а непосредственно гипер.
CityCat4, спасибо, попробую. Смысл ещё в том, на самом деле, чтобы держать на данном гипере 500ГБ в резерве самого гипера, чтобы туда можно было перекидывать машины на время для разных целей.
Ничего не имею против iscsi, у меня обвязка из nfs- и fc-сторов, nfs отлично себя показывает.
А сколько дисков и какие (sas/sata) на медленном (круто, если знаете какой контроллер)? Все диски сервера используются виртуалкой freenas?
Alx, вот диск на быстрой машине в сторону медленной машины по NFS в FreeNAS без сжатия и дедупликации. Тот же самый эффект плавания. На медленном пара по 3TB SATA Enterprise, подключены через LSI Logic SAS, т.к. сам ESXi на одном из дисков - нельзя пробросить целиком контроллер. Сам контроллер: Cougar Point 6 port SATA AHCI. У вас FreeNAS? У вас он на чистом железе стоит, или всё-таки FreeNAS под ESXi c пробросом железа?
Владимир Кивва, Да у меня freenas есть под гипервизором и лежит на nfs. Если два диска всего и такой контроллер, то в этом скорее всего затык, к сожалению.
Средний
на быстрой машине в сторону медленной машины по NFS в FreeNAS без сжатия и дедупликации. Тот же самый эффект плавания. На медленном пара по 3TB SATA Enterprise, подключены через LSI Logic SAS, т.к. сам ESXi на одном из дисков - нельзя пробросить целиком контроллер. Сам контроллер: Cougar Point 6 port SATA AHCI. У вас FreeNAS? У вас он на чистом железе стоит, или всё-таки FreeNAS под ESXi c пробросом железа? 
