Как найти максимальную площадь?

Никак не представить.

Подозреваю, что максимальная площадь получится, если AB=AC. Это даже можно доказать, взяв равнобедренный треугольник со стороной a и провести рядом другую сторону равную a. Можно показать, что треугольник "выше" всегда больше треугольника "снизу". Т.е. от площади больше отнимается, чем прибавляется.
Что касается функции, то нужно взять формулу вычисления площади по стороне и двум углам (второй угол будет оптимизирующим аргументом).
S = 1/2*a^2*sin (180 - α - β)* sin β/sin α

Проще всего варьировать один из оставшихся углов, например B -- от 0 до pi - alpha и считать площадь как его функцию:

S = 1 / 2 * a^2 * sin(B) * sin(pi - alpha - B) / sin(alpha)

. Остаётся найти максимум этой функции на данном промежутке значений B.
См., откуда (из первого альтернативного представления) следует alpha + 2 * B = pi => B ( = C) = (pi - alpha) / 2, т.е. равнобедренный треугольник имеет максимальную площадь.