Как решить огромную задержку в strongswan ipsec?

Имеем простейший конфиг:

A side:
/etc/ipsec.secrets
35.167.777.7 52.11.777.7 : PSK 'test12345'

/etc/ipsec.conf
# basic configuration
config setup
charondebug="all"
uniqueids=yes
strictcrlpolicy=no

# connection to amsterdam datacenter
conn A-side
authby=secret
left=%defaultroute
leftid=52.11.777.7
leftsubnet=172.31.31.243/24
right=35.167.777.7
rightsubnet=172.31.0.233/24
ike=aes256-sha2_256-modp1024!
esp=aes256-sha2_256!
keyingtries=0
ikelifetime=1h
lifetime=8h
dpddelay=30
dpdtimeout=120
dpdaction=restart
auto=start
type=tunnel

B side
/etc/ipsec.secrets
52.11.777.7 35.167.777.7: PSK 'test12345'

/etc/ipsec.conf

# basic configuration
config setup
charondebug="all"
uniqueids=yes
strictcrlpolicy=no

# connection to amsterdam datacenter
conn paris-to-amsterdam
authby=secret
left=%defaultroute
leftid=35.167.777.7
leftsubnet=172.31.0.233/24
right=52.11.777.7
rightsubnet=172.31.31.243/24
ike=aes256-sha2_256-modp1024!
esp=aes256-sha2_256!
keyingtries=0
ikelifetime=1h
lifetime=8h
dpddelay=30
dpdtimeout=120
dpdaction=restart
auto=start
type=tunnel

A side - Nginx.
B side - Nginx with upstream private ip to A side.

Проблема следующая, как только запускается тунель, все запросы в Nginx - отрабатывают десятки секунд.
Если потушить тунель - Все отрабатывает моментально.

Причем не важно, запрашивать nginx на A или B стороне