Хочу запретить обращаться к mysql извне, почему не выходит через bind-address?

Хочу сделать так, чтобы обращаться к Mysql, который поднят в докере мог только мой VPS. Я взял конфиг my.cnf и указал в bind-address= айпи адрес докер контейнера (получил его так docker inspect id_container | grep "IPAddress"). Сделал докер рестарт контейнера, но все равно я по прежнему могу обращаться к MySQL со своего локального ПК. Почему?
skip networking закомментирован (если раскомментирую - то всегда Connection refused.)
Как сделать так, чтобы все обращения к моему MySQL извне были закрыты?