Как смотреть локальный сайт с других машин из локальной сети?

Отдельной настройки nginx не требуется. Проблема в том, чтобы запрос добрался до nginx. Распространены два варианта решения.
1. hairpin NAT;
2. особая настройка резолва в локальной сети; это можно сделать ещё двумя способами:
2a. прописать на локальных компьютерах в файл hosts локальный адрес веб-сервера и FQDN (доменное имя);
2b. настроить внутренний DNS-сервер так, чтобы он отдавал то же самое, что было бы прописано в hosts в п.2a.

Если маловато опыта в настройке сетей, то рекомендую начать с варианта 2a - там всё элементарно (минус в том, что надо прописывать на каждом компьютере отдельно); по другим вариантам много надо рассказывать, но всё это можно нагуглить. Вариант 1 вобще зависит от того, какой у вас роутер.

Вам нужно зайти в настройки роутера и прописать на роутере в hosts соответствие доменных адресов ваших сайтов с IP адресом сервера на котором они находятся.

Можно прописать не на роутере, но тогда вам придется прописывать их на каждой машине с которой вы хотите получать доступ к сайтам.