Какой оптимальный размер иконок и стоит ли использовать SVG?

если вы имеете ввиду viewbox для SVG, то лучше дробные 2м - иначе могут плоховато рендериться.
сжимать можно при помощи SVGO, удалит ненужные теги из svg.

тут https://thenounproject.com очень много иконок в svg, можно бесплатно качать - будет снизу текст, но он легко удаляется в редакторе.

"у других бесплатных еще меньше набор", ну, вы недооцениваете другие наборы.

У Material Design довольно приличная коллекция, а количество более мелких коллекций, которые можно использовать на небольших-средних проектах, слишком велико, чтобы перечислить их в одном посте, кое-кто этому целую статью посвятил.

Много почти бесплатных svg-иконок можно найти на flaticon .
Почему почти? Их использования предполагает упоминание автора. Избежать этого можно купив подписку, но цена смешная, меньше 8$ в месяц при годовой подписке, по сравнению с 20$ icons8 вполне себе неплохо.

Еще есть iconfinder, подписка тут дороже, зато есть полностью бесплатные икноки (правда, они обычно довольно низкого качества, имхо) и в целом иконок в 3-4 раза больше.

и стоит ли использовать SVG?

Очень caniuse.com/#search=svg Это даже не будущее, это настоящее

Почему иконки в основном размерами 32, 48, 64 и т.д. пикселей

Соответственно частоте использования

Сжимаю до 48 пикс. - так в качестве теряется, понятно

Не понятно. Смотря что, чем и как сжимать.

может есть где бесплатно много svg иконок?

А в чем проблема если есть png иконка, например, сделать из нее svg? Есть онлайн сервисы для этого и есть великолепное ПО - inkscape.paint-net.ru/?id=1