mihaildemidoff

Как вариант можно посчитать хэши подстрок нужной длины, после этого отсортировать их. Еще за один проход мы найдем максимальное число повторений одного хэша, еще за один проход в строке найдем исходную подстроку(хотя можно сразу же хранить).

думаю их не группировать надо, а знать, зачем вам знать сложность, если вы алгоритм в глаза не видели и не знаете зачем он вам.
а так: Кнут, Кормен вам в руки и штудировать.
Алгоритмов и их модификаций великое множество, за всеми не уследишь