Потеря пакетов, скачки при передаче пакетов?

У меня проблема с сервером, точнее на сколько я понимаю с сетевым ядром.

Для меня критична скорость передача данных между процессами, в будущем между серверами.

Проблема заключается в задержках передачи пакетов между процессами, например из 100 пактов 90 дойдёт за 0 -1 мс, а 10 с задержкой до 200мс, размер пакетов очень маленький. В случае с TCP можно полагать что дропается пакет и при его повторном отправлении возникает очередь и т.п. и из за этого резкая задержка.

Но с использованием UDP ситуация такая же.

Пробовал использовать различные брокеры такие как zeromq, nanomsg ситуация не меняется, из за этого вынужден полагать что дела в конфигурации сетевого ядра или аппаратной части ( что менее вероятно ) .

Проверял на своём компьютере, там windows. Таких проблем не наблюдалось, время доставки сообщения 0 -1.