Имеет ли смысл менять адрес для админ панели?

Имеет смысл замаскировать минимум с помощью хотя бы одного статического аргумента URI.
site.com/adm/?ЧТОУГОДНО
(или ограничить по IP, что не всегда бывает удобно).

А вообще, лучше защищать так, чтобы этот аргумент зависел от времени.
Например, использовать TOTP с привязкой к этому аргументу и "убить сразу 2-х зайцев":
1. чтобы открыть страницу входа в админку.
2. чтобы залогиниться