Как поисковые боты взаимодействуют с сайтами на которых работает роутинг?

Если я верно понимаю, в сайтах построенных на основе концепции mvc, используется роутинг, и таким образом, введенный урл редко соответствует реальной директории. Поэтому возникает вопрос: как поисковые боты индексируют такой сайт? И адреса, указанные в robots.txt будут интерпретироваться ботом как реальные директории или все будет работать нормально?