Можно ли в настройках роутера прописать host для домена?

Настройки Wi-Fi тут вообще не причем.

На заводской прошивке роутера, название которого вы так любезно не указали, у вас ничего не получится. Разве что изменить DNS на свой сервер, но откуда у вас свой сервер. Ну еще у Mikrotik это с пол пинка. А так прошивайте OpenWRT и делайте что хотите.

Dnsmasq

/etc/hosts

192.168.1.1 router OpenWrt localhost
192.168.1.2 debian-server
192.168.1.3 ubuntu-laptop

update

Нашел вроде еще один способ. Уже без роутера. На NS сервере прописать локальный IP.

Ну почему не давать больше информации хотя бы что за модель роутера используется - опять надо гадать.

Ну все зависит от роутера, к примеру в микротике есть IP-DNS-Static

далее записи вида:

www.yandex.ru 192.168.10.10
www.google.com 192.168.10.11

и т.д.

или skydns.ru и в нем прописать свои алиасы... за 350 рублей на год 15 записей + статистика и блок...