Представьте такой сценарий: в сеть случайно утекает ссылка на внутреннюю страницу админки сайта (в современном мире есть миллионы способов, чтобы это произошло). И вот ПС уже знают URL. Вдруг оказывается, что из-за бага доступ к этой странице открыт всем желающим, в том числе роботам ПС. Вы баг обнаружили, поправили, а вся ваша админка уже проиндексирована ПС и сохранена в кеше прочими ботами. Вам оно надо? Делов-то - одну строчку в robots.txt написать.