Как изучать матанализ?

Линейная алгебра и мат. анализ в объеме 1 курса СПБГу или МГУ. Этого за глаза хватит для 95% алгоритмов.

А вообще, если вы в 10 классе, изучайте просто программу вперед.

У Кормена же есть в конце книги раздел со всей нужной математикой, его и читайте, если надо более глубоко, гуглите.
Если считаете, что у Кормена много математики и не хотите тратить на это время, читайте Седжвика. Цели знакомства с алгоритмами это покроет в полной мере.

Вам нужны две книги:
1. Учебник матана
2. Задачник с решениями.
В первой сформулированы фундаментальные знания, со второй Вы сможете пропустить эти знания через себя. Можно ещё порекомендовать видеозаписи реальных академических лекций в подкрепление, потому что препод на то и препод, чтобы не просто зачитывать текст учебника, но ещё и доходчиво объяснять.

Та штука на скриншоте это знак суммы. Имеется в виду, что на выходе этой функции будет сумма t(j)-1 при j от 2 до n. Например, если есть массив чисел t размером 5 [6,7,8,9,10], а первый элмент имеет номер 1, то это будет сумма для элементов, у которых j изменяется от 2 до 5, то есть ((t2)-1) + (t(3)-1)+ (t(4)-1)+(t(5)-1). При этом t(2) = 5, t(3) = 8 и т.д. Домашнее задание - посчитать сумму))
Что за коэффициент вначале - хз.