Как называется раздел математики?

Исследование операций — дисциплина, занимающаяся разработкой и применением методов нахождения оптимальных решений на основе математического моделирования, статистического моделирования и различных эвристических подходов в различных областях человеческой деятельности.

Далее — в зависимости от специфики задачи (по данному описанию я это сделать не могу) — можно попробовать выбрать более конкретный подраздел.