@freezl

Какие причины в остановке движения пакетов в OpenVPN туннеле?

В наследство досталась связка сервера на CentOS 7.4 и некоторого (штук 250-300) количества роутеров (кастомная вещь, которую пилят китайские друзья). Роутеры подключаются к серверу по VPN. И банальный пинг показывает такую картину:
Reply from 10.8.0.1: bytes=32 time=81ms TTL=63
Reply from 10.8.0.1: bytes=32 time=105ms TTL=63
Reply from 10.8.0.1: bytes=32 time=99ms TTL=63
Request timed out.
Request timed out.
Request timed out.
Reply from 10.8.0.1: bytes=32 time=114ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=105ms TTL=63
Reply from 10.8.0.1: bytes=32 time=88ms TTL=63
Reply from 10.8.0.1: bytes=32 time=72ms TTL=63
Reply from 10.8.0.1: bytes=32 time=97ms TTL=63
Reply from 10.8.0.1: bytes=32 time=82ms TTL=63
Reply from 10.8.0.1: bytes=32 time=106ms TTL=63
Reply from 10.8.0.1: bytes=32 time=91ms TTL=63
Reply from 10.8.0.1: bytes=32 time=69ms TTL=63
Reply from 10.8.0.1: bytes=32 time=98ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=107ms TTL=63
Reply from 10.8.0.1: bytes=32 time=92ms TTL=63
Reply from 10.8.0.1: bytes=32 time=77ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=84ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=93ms TTL=63
Reply from 10.8.0.1: bytes=32 time=78ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63
Reply from 10.8.0.1: bytes=32 time=87ms TTL=63
Reply from 10.8.0.1: bytes=32 time=110ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63
Reply from 10.8.0.1: bytes=32 time=83ms TTL=63
Reply from 10.8.0.1: bytes=32 time=112ms TTL=63
Reply from 10.8.0.1: bytes=32 time=89ms TTL=63
Request timed out.
Request timed out.
Reply from 10.8.0.1: bytes=32 time=2980ms TTL=63
Reply from 10.8.0.1: bytes=32 time=70ms TTL=63
Reply from 10.8.0.1: bytes=32 time=93ms TTL=63
Reply from 10.8.0.1: bytes=32 time=81ms TTL=63
Reply from 10.8.0.1: bytes=32 time=103ms TTL=63

Сам роутер пингуется без потерь, соответственно проблема между роутером и сервером. Интернет стабильный, нагрузки на сервере по процу, памяти и диску нет.
Настройки сервера
port 1194
proto tcp
dev tun
ca /etc/openvpn/remote/ca.crt 
cert /etc/openvpn/remote/server.crt 
key /etc/openvpn/remote/server.key  
dh /etc/openvpn/remote/dh1024.pem 
server 10.8.0.0 255.255.0.0
subnet-behind-clients 10.10.0.0
mask-behind-clients 24
route 10.10.0.0 255.255.255.0
ifconfig-pool-persist /etc/openvpn/data/remote-ipp.txt 
ping 20
ping-restart 120
cipher BF-CBC
comp-lzo
persist-key 
persist-tun 
status /var/logs/openvpn/remote-openvpn-status.log 
log-append  /var/logs/openvpn/remote-openvpn.log 
verb 5
reneg-sec 86400
;end

Настройки клиентов
client
dev tun
port 1194
verb 5
ping 20
ping-restart 120
proto tcp-client
cipher BF-CBC
comp-lzo
resolv-retry infinite
pull
nobind
user root
group root
persist-key
persist-tun
status /var/log/openvpn-status-r.log 2
up upscript
up-delay
down downscript
down-pre
up-restart
push-peer-info
tls-exit
reneg-sec 86400
;end

Закономерность такая - каждые 30 секунд движение пакетов тормозится на 10-15 секунд. Поскольку есть закономерность, то на перегрев/перегрузку роутера это не похоже. Так же не похоже на переполнение буферов на сервере, т.к. это имело бы какой то хаотичный вид.
Можете подсказать в каком направлении копать? В логах всё хорошо.
  • Вопрос задан
  • 149 просмотров
Пригласить эксперта
Ответы на вопрос 2
@tamogavk
@deni4ka
От клиента Mtr -s 1470 -i 0.2 внешний айпи роутера куда все подключены
Ответ написан
@freezl Автор вопроса
Сервер в Azure находится, ICMP там по дефолту выключен.
mtr -T -s 1470 --port 1194 server.com
tester-pc (0.0.0.0)
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                      Packets               Pings
 Host                                                 Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. 10.10.133.1                                       0.0%    95    2.6   3.5   1.7  10.5   1.3
 2. gw.domen.com                                      0.0%    95    1.2   1.4   0.9   4.3   0.3
 3. 1.1.1.1                                           0.0%    95    1.3   1.8   1.0  11.9   1.5
 4. 217.195.72.208                                    0.0%    95    1.7   2.1   1.3  16.3   1.9
    10.78.242.161
 5. msa-24z-1.ntwk.msn.net                            0.0%    95   16.2  14.6  13.3  40.1   3.3
 6. ae8-0.ams-96c-1a.ntwk.msn.net                     0.0%    95   57.9  57.8  57.0  70.1   1.4
 7. be-71-0.ibr02.ams.ntwk.msn.net                    0.0%    95   60.6  60.5  58.8  62.9   0.5
 8. be-3-0.ibr01.ams06.ntwk.msn.net                   0.0%    95   61.4  60.5  59.1  70.1   1.1
 9. ae100-0.icr01.ams06.ntwk.msn.net                  0.0%    95   59.0  60.9  58.7  77.7   3.5
    ae101-0.icr03.ams06.ntwk.msn.net
    ae102-0.icr02.ams06.ntwk.msn.net
    ae103-0.icr04.ams06.ntwk.msn.net
10. ???

Вот с hping чуть отличается картина:
hping -S -p 1194 -d 1470 server.com
HPING server.com (eth0 1.1.1.1): S set, 40 headers + 1470 data bytes
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=0 win=29200 rtt=1                                                                                                                                                             059.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=2 win=29200 rtt=5                                                                                                                                                             9.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=3 win=29200 rtt=59.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=4 win=29200 rtt=59.6 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=6 win=29200 rtt=59.4 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=7 win=29200 rtt=1059.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=8 win=29200 rtt=1059.6 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=10 win=29200 rtt=59.1 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=12 win=29200 rtt=60.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=14 win=29200 rtt=59.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=15 win=29200 rtt=1059.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=17 win=29200 rtt=59.3 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=18 win=29200 rtt=1059.4 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=20 win=29200 rtt=59.2 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=21 win=29200 rtt=1059.5 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=23 win=29200 rtt=59.1 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=25 win=29200 rtt=59.8 ms
len=46 ip=1.1.1.1 ttl=50 DF id=0 sport=1194 flags=SA seq=26 win=29200 rtt=59.1 ms

Если использовать hping -S -p 1194 server.com , то rrt 60ms и не плавает так.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы