Какие эвристики существуют в методах градиентного спуска?

В университете преподаватель во время защиты лабораторной задал вопрос, как понятие "эвристика" связано с алгоритмом градиентного спуска, какие именно эвристики существуют в градиентном спуске и т.д. Что он имел ввиду? Насколько я знаю, эвристический подход применяется при выборе направления в стохастическом градиентном спуске, но это вряд ли является ответом на вопрос.