Почему не работает рекурсия?

У вас не описан случай, когда буква согласная, соответственно функция вызывается 1 раз если первая буква согласная. Ну и нужно возвращать результат вызова функции, что бы получить рекурсию. Как-то вот так (можно и нужно оптимизировать)

function getCount(str, i, counter = 0) {
  if (i >= str.length) return counter;
  
  if (['a', 'e', 'i', 'o', 'u'].indexOf(str[i]) != -1) {
    return getCount(str, ++i, ++counter)
  }
  return getCount(str, ++i, counter); 
}

Согласные никак не обрабатываются, поэтому на первой же согласной выполнение функции оборвется.

Кроме того, в свитче нужно вовращать `getCount`, а не просто вызывать:

function getCount(str, counter = 0) {
  if (counter >= str.length) return counter;
  
  switch(str[counter]) {
    case 'a':
    case 'e':
    case 'i':
    case 'o':
    case 'u': return getCount(str, ++counter); break;
  }
}

Но в моей функции согласные все еще не учитываются.

А где собственно подсчет гласных?
counter - это просто номер буквы в слове
+ что по вашему возвращает функция во всех остальных случаях кроме if (counter >= str.length) return counter;?