Почему фотошоп такой быстрый?

Ничего в Фотошопе сверхбыстрого нет. Его просто не на JS пишут, а на C/C++, и, я уверен, с ассемблерными вставками там, где надо. Хотя, и без них я думаю он бы хорошо справлялся.

Да, кстати, о GPU. В современных CPU тоже достаточно много векторных инструкций, SSE там всякие. Если их умело применить, то для обработки несложных изображений никакого GPU не надо будет. Я уверен, что в Фотошопе эти наборы команд также применяются.

Добавим к этому лучших разработчиков в индустрии - они не то что хорошо знают алгоритмы обработки изображений, они сами их изобретают. Кому еще, как не им?

Выводы:
а) вы возможно привыкли к тормозам современного ПО, пишущегося на высокоуровневых языках криворукими ребятами. Не всё ПО такое. Как заметили предыдущие отвечающие, Фотошоп работал и на 32 метрах оперы, сейчас он тот еще монстр;
б) можно сильно по-разному реализовать алгоритмы обработки. Если вы поймете, какой потенциал у современных чипов, вы перестанете удивляться скорости обработки изображений.

Одна из причин скорости фотошопа - использование вещественных чисел с фиксированной точностью. Причём, очень-очень низкой точностью. Во многих алгоритмах для расчётов используются 16 битные числа. Плюс блокирование памяти.

Секрет прост: эффекты накладываются на сначала превью, потом в фоне просчитываются на всю картинку в полном размере. И быстро просчитать эффекты наложения и коррекцию с современными мощностями не сложно в режиме HLS или в другом более подходящем для нужного эффекта. Да чего уж там говорить, когда браузер умеет это всё делать очень быстро. Основные эффекты уже реализованы в CSS3 - градиенты, фильтры, прозрачность, кроп, блюр - всё работает быстро.

Рассчитывается для рендеринга - только верхний слой, все остальное - рассчитывается в памяти и результат каждого шага и порядок слоёв сохраняется в виде матрицы преобразований относительно предыдущего шага.
Как только Вы переставляете слои:
1. из кэша берется матрица преобразований того, что находится под тем, что Вы переставили только что
2. суммируются матрицы от этого слоя и вверх
3. подготавливается результирующая матрица преобразований
4. выполняется рендеринг с верхнего слоя и вниз (убирая слои результирующей матрицы) до тех пор, пока есть "непокрытое" пространство в области видимости

По-скольку рендерится только то, что Вы видите - это делается очень быстро.