Похоже на то, что вы неправильно организовали структуру файлов. К слову, в моих проектах в среднем 30-40 файлов (компоненты и блоки, всё отдельными файлами) и компиляция занимает не более 2-х секунд.
Точка входа - файл main.sass, в нём только импорт файлов.
Проверьте организацию тасков gulp.
P.S.:
сборка для работы с Gulp, Sass, Foundation. Сравните гульпфайлы, надеюсь поможет в ускорении процесса.