@cipik777

Почему браузер видит и обрабатывает код, а робот Яндекса не видит?

Я НОВИЧОК, ТОЛЬКО НАЧАЛ ИЗУЧАТЬ PHP, СИЛЬНО НЕ РУГАЙТЕСЬ ЕСЛИ ЧТО ))
Решил я сделать так, чтобы внутри моего сайта ruskorcons.ru можно было лазить по чужому сайту pohmelje.ru
Если подставить любой url этого сайта в конце моего - то всё корректно отображается.
Например: www.ruskorcons.ru/https://pohmelje.ru/ask-doctor
Вот начало кода:
________________________________________________________
$url = $_SERVER['REQUEST_URI'];
	// удаляем один ненужный слэш
	$url = substr($url, 1);
	// сторонняя страница сайта, с которой будем брать контент. 
	$content = file_get_contents($url);
	// если в нужном контенте встречается не нужный кусок текста, то его вырезаем и заменяем на нужный нам
    $content = str_replace('href="/','href="http://www.ruskorcons.ru/https://pohmelje.ru/', $content);

__________________________________________________________
При таком раскладе всё работает чудесно - вот пример - www.ruskorcons.ru/https://pohmelje.ru
Но проблема в том что Яндекс всего этого не видит - для него страница без всего - проверяю тут - https://webmaster.yandex.ru/tools/server-response/
Я уже стал грешить на то что Яндекс не видит file_get_contents, но когда заменяю строку на
$content = file_get_contents('https://pohmelje.ru/');

то Яндекс всё видит. но естественно при таком коде можно только одну страницу посмотреть ))) но суть в том что file_get_contents Яндекс воспринимает.
Потом стал грешить на $_SERVER['REQUEST_URI']; , может его не видит Яндекс?
Но и тут когда дописываю так:
$url = $_SERVER['REQUEST_URI'];
	// удаляем один ненужный слэш
	$url = substr($url, 1);
        echo $url;

Проверяю это в https://webmaster.yandex.ru/tools/server-response/ и вижу что echo $url; нормально отображает , всё прекрасно видит.
Тогда почему браузер видит и обрабатывает код, а робот Яндекса не видит?
  • Вопрос задан
  • 275 просмотров
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
видит, но сечет что это прокси и игнорирует

иначе б заипался по кругам ходить

послушайте их лекции, как боты решают что индексировать, а что нет
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы