Как запретить доступ поисковика к ajax страницам?

спасибо за ответ, и честно говоря не понял где надо ставить этот код

Поисковики ходят по ajax ссылкам - это значит, что такие ссылки явно присутстуют в коде. Вот вот всех ссылках, которые обрабатываются ajax, нужно поставить дополнительный атрибут rel="nofollow".
Второй совет - это про вставку дополнительного заголовка методом setRequestHeader Если используется jQuery, то дополнительный заголовок сам выставляется, нужно только его проверить на стороне сервера

$headers = apache_request_headers();
if($headers['X-Requested-With']=='XMLHttpRequest') { 
...}

Спасибо, и до того как вы отвечали я искал в интернете инфо про robots.txt, я все четко настроил через robots.txt и ничего не работал можете помогать если можете?

User-agent: Googlebot
Disallow: /top.php

Про настройку robots.txt - к Антону Филипову. Он ответил передо мной.