- перевести градусы в радианы (* pi / 180), воспользоваться любым стандартным методом вычисления синуса, например, функцией sin из стандартной библиотеки или рядом Тейлора
- воспользоваться таблицей Брадиса для градусов, при необходимости выполнить интерполяцию
Проще всего варьировать один из оставшихся углов, например B -- от 0 до pi - alpha и считать площадь как его функцию:
S = 1 / 2 * a^2 * sin(B) * sin(pi - alpha - B) / sin(alpha)
. Остаётся найти максимум этой функции на данном промежутке значений B. См., откуда (из первого альтернативного представления) следует alpha + 2 * B = pi => B ( = C) = (pi - alpha) / 2, т.е. равнобедренный треугольник имеет максимальную площадь.
Зачем брать тригонометрические функции от компонентов направления взгляда? Если нужно двигаться в направлении взгляда, следует прибавлять к позиции камеры произведение скорости на нормированный вектор направления взгляда на продолжительность одного кадра.