Необходимо создать файл robots.txt для проекта на Laravel, но я не совсем понимаю, нужно ли закрывать от роботов такие папки, как "app", "routes" и т.д., а также отдельные файлы типа "env", "composer"?
фреймворк НЕ должен лежать в корне сервера, а лежать за его пределами
сервер должен смотреть в папку /public и в этой папке уже должен лежать .htaccess (если Апач у вас, судя по прошлому вопросу)
Папки app, routes, как и файлы .env (и прочие) в принципе не должны быть доступны из вне. Если у вас это так, то тут не роботс.тхт править надо, а руки тому, кто так веб-сервер настроил.
Простой
