Какие задачи требуют большой вычислительной мощности и могут выполняться распределённо?

Например: берёте прошлую и текущую активность посетителей и покупателей сайта Суперинтернетмагазин.ру. На основе этих данных строите модели рекомендаций для разных групп посетителей. Если покажется мало - делаете СааС-сервис рекомендованных товаров для 100500 интернет-магазинов. Это уже классика.

Другой пример - берёте какой-нибудь алгоритм шифрования и пишете под него брутфорс.

можешь посмотреть в сторону больших объемов данных и работы с ними. шардирование, партицирование, репликация.

или более простое просто обработка большого количества файлов. к примеру создание файла с данными на основе других данных с их обработкой и сортировкой.

графика, видео, так же требует приличных вычислений.. и конечно серьезная математика.

число пи попробуйте посчитать

Про mapreduce почитайте.

Широкий класс задач сводятся к глобальной оптимизации, где актуальны и возможны параллельные вычисления. Труды по этой теме распространены и хорошо гуглятся.
Если интересна робототехника - в ней много вычислительно трудных задач, где актуальны распределённые вычисления. Например, в популярной операционной системе роботов используется модульная система навигации в плоскости - один алгоритм может работать на одной машине с глобальной картой, другой алгоритм на другой машине - с локальной. Подробнее о навигационном модуле - по ссылке: wiki.ros.org/move_base.
Вот и вот ещё пара примеров из поисковика. Многие behavior-based системы управления роботами и системы, построенные на основе парадигмы "syndicate" легко распараллеливаются.