Как развить мат. аппарат до минимального уровня для машинного обучения и дата саенс?

Именно для минимального необходимого уровня там не так уж много нужно. Обратите внимание на книгу, которая, на мой взгляд, является как хорошей стартовой площадкой для DS в целом, так и может оказаться актуальной, в частности, в контексте вашего вопроса: Principles of Data Science

Научитесь читать формулы.
Эти таблицы мат.знаков - есть на википедии.
Потом - будете понимать: о чём пишут в публикациях по ML.
И уже после - будете проектировать алгоритм.
И только в самом конце - кодить.

Весь датасаенс основан на тервере и статистике. В особо извращённой форме.

Теория информации нужна для хоть какого-то понимания работы нейросетей и прочего deep learning. Копать тут надо начиная от information bottleneck theory by Naftali Tishbi et al. Но это не точно :-)

Линейная алгебра и матан используются исключительно утилитарно, на уровне умножения матриц/тензоров и вычисления производных/градиентов. А также для понимания вообще принципов параметрической оптимизации ("нелинейного программирования").

Ну и, разумеется, основы алгоритмов и структур данных, и их асимптотический анализ.

На всяких образовательных платформах типа edx, coursera, udacity нынче есть "специализации" (micromasters, nanodegree) по теме датасаенс, которые какраз включают всё необходимое, и именно в минимально необходимом объёме. Иногда даже сильно меньше, но задают направлениe.