Как правильно настроить robots?

Можно всё по умолчанию запретить, а потом разрешать, что захочется. А можно наоборот.

Раз:
Allow: /help
Allow: /catalog/
Allow: /product/
#разрешили разрешённое
Disallow: / #запретили остальное

Два:
Allow: / #разрешили всё
Disallow: /main/user/administration/ #запретили запрещённое

Совместное использование директив

для гугла эти опции носят рекомендательный характер, если по этим адресам что-то попало в индекс, или есть внешняя ссылка, эти адреса будут просканированы все равно.
Для того что бы закрыть от робота в теле страницы должно быть прописано в метатеге запрет, либо заголовок HTTP с запретом, либо ответ 401 - это запрос пароля, или 403/404/410