Как сравнить/проанализировать поведение двух функций (математически)?

В математике этот называется проверка гипотез. Конкретно у Вас - тому что 2 реализации принадлежат одному и тому же случайному процессу (причем, если Вам интересно сравнить спады и подъемы, то нужно искать теорию по нестационарным случайным процессам).

Если коротко, то раз Вы не знаете истинное состояние процесса, то за него принимается среднее арифметическое между 2 реализациями в каждой точке. Затем подсчитывается функция распределения отклонений каждой реализаций от этой эмпирической оценки. Дальше Вы должны задать характеристики шума (чаще всего нормальный, а его СКВО - основной параметр оценки), который считаете допустимым и проверить, укладываются ли все наблюдавшиеся отклонения в гипотезу с некоторым уровнем значимости, например, 0.05.

Если Вы не знаете параметры шума, то наоборот, его СКВО может стать для Вас одним из простейших показателей схожести/различия между двумя реализациями, при заданном уровне значимости (например, ограничиваете его значением 0.05 и ищете, максимальное СКВО, при котором гипотеза однородности не отвергнута).