Рекомендую Vue.js, писал и на React.JS и на Angular, проще всего вам будет с vue.js для вас он будет более приятен, так как выглядит как новорот сверху html, в отличие от react`а который предлагает JSX(Который тоже придется изучить).
Angular по моему мнению очень громоздкий. (и не очень уж и популярный, раз на то прошло, на нем много оочень больших проектов)
По скорости вы особо разницы не заметите, тут зависит только от того как вы это напишите (можете поискать где то на хабре сравнивали скорости какого то левого фреймворка, vue.js, реакта и вроде ангуляра)
Да не слушайте басни о JWT, RxJS, токен вы сможете подставить в любую библиотеку для запросов (чего будет достаточно на первых этапах), а RxJS в реактивном фреймворке изварт, по моему мнению (хотя видел 1 или 2 проекта где его использовали, но это капля в море)
По Vue.JS, сразу стоит на заметку взять vue-router, vuex, axios, в частности для vuex можно сразу найти пару вариантов для обработки ваших сокетов.