NGINX: Как отдавать по домену одно, а по ип другое?

Есть сайт на сервере, он показывается при заходе на домен. При заходе на сервер просто по IP, отдаётся стандартная страничка от nginx. Я хотел бы повесить 2 сайт и чтобы он отдавался по ип(вместо стандартной от nginx). Не понимаю как это реализовать.

upstream my_project {
    server unix:/tmp/myproject.sock fail_timeout=0;
}

server {
    listen 80;
    server_name  100.100.100.100;
}

server {
    listen 80;
    client_max_body_size 4G;
    server_name 100.100.100.100;
    access_log  /home/myuser/logs/myproject/myproject.nginx..log;
    keepalive_timeout 5;

    root /home/myuser/projects/myproject/;
    
    location / {
        proxy_pass http://100.100.100.100;
    }

}

Это конфиг для отдачи по ип, но он не работает.
Буду рад отсылке на мануал именно с решением проблемы, а не просто "кури мануалы".