uaf0x
@uaf0x
Всего понемногу

Как nginx (или не nginx) генерирует 301 для всех страниц сайта wordpress?

Привет, проблема в следующем, что боты заходят по адресу и в логах пишет его копию 301.
У нас на сайте, все страницы закнчиваются /, cо всеми страинцами без слеша та же история.
Весь мусор из WP убран, wp-json, фиды, закрыты под надёжным 410 ответом.
Код весь проверен вдоль и поперёк, т.е теоритически робот не может найти ссылку без слеша чтобы перейти по ней.

server{
    listen 80;
    server_name site.com www.site.com;
    return 301 https://site.com$request_uri;
}


server {
    listen 443 default ssl http2;
    #listen 159.69.20.128:80 ssl http2;
    #listen 159.69.20.128:443 ssl http2;
    server_name site.com www.site.com;

    ssl on;
    ssl_certificate /home/ssl/site.com.pem;
    ssl_certificate_key /home/ssl/site.com.key;

    access_log /var/log/nginx/site.com.log;
    error_log  /var/log/nginx/site.com.log;
    index index.php;
    gzip on;
    gzip_disable "msie6";
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;
    
    root /var/www/site;
	
    rewrite ^/sitemap(-+([a-zA-Z0-9_-]+))?\.xml$ "/index.php?xml_sitemap=params=$2" last;
    rewrite ^/sitemap(-+([a-zA-Z0-9_-]+))?\.xml\.gz$ "/index.php?xml_sitemap=params=$2;zip=true" last;
    rewrite ^/sitemap(-+([a-zA-Z0-9_-]+))?\.html$ "/index.php?xml_sitemap=params=$2;html=true" last;
    rewrite ^/sitemap(-+([a-zA-Z0-9_-]+))?\.html.gz$ "/index.php?xml_sitemap=params=$2;html=true;zip=true" last;


    location / {
        try_files $uri $uri/ /index.php?$args/;
    }

    location /.well-known {
        allow all;
    }

    location = /favicon.ico {
        log_not_found off;
        access_log off;
        expires max;
    }

    location ~ \.php$ { 
        try_files $uri =404; 
        include /etc/nginx/fastcgi.conf;
        #fastcgi_pass unix:/run/php/php7.0-fpm.sock; 
	    fastcgi_pass  127.0.0.1:9000;
    }

    location = /robots.txt {
        allow all;
        log_not_found off;
        access_log off;
    }

    location ~ /\. {
        deny all;
    }

    location ~* \.(css|js|gif|jpg|png|svg|ttf|txt|doc|pdf|rtf|swf|xsl|woff|eot|woff2|ttf|svg|html|ico|less) {
        expires max;
        access_log off;
        log_not_found off;
    }


}

А вот что в логах пишет, правда не понятно куда о раньше заходит, редиректы пишутся в отдельный лог.
172.69.62.243 - - [17/Jun/2019:21:53:55 +0200] "GET /shop/remen-16h11-1650/ HTTP/1.1" 200 42143 "-" "Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)"

162.158.79.190 - - [17/Jun/2019:21:53:53 +0200] "GET /shop/remen-16h11-1650/ HTTP/1.1" 301 194 "-" "Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)"


Вопрос как это победить ?)
  • Вопрос задан
  • 117 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы