Как найти арктангенс больших чисел?

Вероятно вы использовали для арктангенса тот ряд, который сходится только при |x| < 1. Для |x| > 1 используется другой ряд - wolfram вам подскажет как он выглядит (в разделе series representations). А синус и косинус - периодические функции. Подозреваю, что всегда можно добавить/вычесть необходимое количество периодов и посчитать их значения.

UPD: Да, разумеется, ряды для синуса и косинуса сходятся от минус бесконечности до бесконечности, так что их можно вычислять для любых значений аргумента