Загрузка действительно замедляется. У нас сейчас приложение из примерно 30 модулей и весьма заметен прирост в скорости загрузки, если все собирать в один бандл. Особенно заметно стало после перехода внутрь SSL-туннеля. Подобное рекомендуется делать и для CSS тоже.
Модуляризация хороша и удобная для разработки, отладки и тестирования, но в продакшене лучше использовать оптимизированную версию.
