Стоить ли добавят индексы к таблице, где будет мало записей?

Добавить-убрать внешний индекс можно в любой момент, например сейчас или потом.
Вред будет от преждевременной оптимизации, которой вы сейчас озабочены.

Я считаю, что индексы добавлять нужно, ровно как и всевозможные ключи и ограничения.
1. Все это дает оптимизатору подсказку по правильному построению плана запроса.
2. Записи в таблице не упорядочены на диске. Если понадобится чтение с диска (если таблица не в памяти) для того что бы считать таблицу, может понадобиться много операций чтения. С индексом проще.
3. Отсутствие индексов по внешнему ключу может привести к блокировкам при вставке.
Понятно, что есть куча НО (по ситуации), но если затраты на добавление записи в индекс не критичны, то я за то что бы строить индексы и собирать статистику....