Математический аппарат для разработчиков 3d графики

Mathematics for 3D Game Programming and Computer Graphics
Physically Based Rendering, Second Edition: From Theory To Implementation
Computer Graphics: Principles and Practice in C (2nd Edition)
Computer Graphics: Principles and Practice (3rd Edition)
Real-Time Rendering, Third Edition
Конкретно 3d графика содержит довольно специфичный набор знаний и довольно неслабые бреинштормы для решения задач. Если ты имеешь в виду именно Render, а не бота вокруг дерева водить или локти якобианами крутить, то тут либо работать идти джуниором и дорасти до рендера либо аспирантуры-магистратуры по конкретному направлению.
www.gamedev.ru/flame/forum/?id=160049#m1
www.gamedev.ru/flame/forum/?id=160049#m3

Если тебя больше интересуют игры, а не технологии, то можешь взять просто Unity и уроки к нему.