Почмеу гигабитная сетевуха не прокачивает гигабит при MTU=9000?

Добрый день!
2 сервера, соеденены пачкордом на прямую. Установлен centos7
При MTU = 1500 iperf выдаёт:
[SUM] 0.0-30.0 sec 3.29 GBytes 942 Mbits/sec
а при mtu 9000:
[SUM] 0.0-60.0 sec 3.90 GBytes 558 Mbits/sec

а если ещё и через свич: (джамбо фреймы 10000B разрешены)
[SUM] 0.0-72.6 sec 1.83 GBytes 216 Mbits/sec

Так негодует не только iperf, но и rsync/ssh, nc.

Как это лечить?
  • Вопрос задан
  • 3251 просмотр
Пригласить эксперта
Ответы на вопрос 4
RicoX
@RicoX
Ушел на http://ru.stackoverflow.com/
Модель сетевой? Если пальцем в небо, то начните с:
ethtool -K em0 tso off ufo off gso off gro off lro off rx off
ethtool -K em1 tso off ufo off gso off gro off lro off rx off
ethtool -G em1 rx 4096 tx 4096
ethtool -G em0 rx 4096 tx 4096
ethtool -L em0 combined 4
ethtool -L em1 combined 4
/sbin/ifconfig em0 txqueuelen 10000
/sbin/ifconfig em1 txqueuelen 10000
echo 000000ff> /sys/class/net/em0/queues/rx-0/rps_cpus
echo 000000ff> /sys/class/net/em1/queues/rx-0/rps_cpus

echo 1 > /proc/irq/44/smp_affinity
echo 2 > /proc/irq/47/smp_affinity
echo 4 > /proc/irq/48/smp_affinity
echo 8 > /proc/irq/49/smp_affinity

echo 1 > /proc/irq/46/smp_affinity
echo 2 > /proc/irq/50/smp_affinity
echo 4 > /proc/irq/51/smp_affinity
echo 8 > /proc/irq/52/smp_affinity

А так много нюансов от модели сетевой до версии используемого драйвера, по конкретным дровам можно сказать точнее, ну и на свиче должна быть взрослая поддержка jumbo, а не для галочки.
Ответ написан
opium
@opium
Просто люблю качественно работать
А смысл заморачиваться если у вас и так при маленьком мту
При MTU = 1500 iperf выдаёт:
[SUM] 0.0-30.0 sec 3.29 GBytes 942 Mbits/sec
Ответ написан
@throughtheether
human after all
Дамп трафика можете показать? Есть подозрение, что TCP почему-то не выставляет адекватный размер сегмента.
Ответ написан
nightvich
@nightvich
ITman
Производитель сетевой карты, свича, коммутатора и т.д. "гарантирует" указанную полосу пропускания при стандартных значениях для своего оборудования. В вашем случае наиболее вероятно, что ваше железо не справляется со задачами "сбора\разбора" пакетов. Вообще изменение MTU и использование джамбо фрэймов штука весьма капризная и обязательно стоит провести несколько экспериментов, что вы и сделали.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы