Принцип работы медианного фильтра?

Дальше полученное значение используется в качестве нового значения яркости для данного пиксела. Вот и все.
Но есть ряд нюансов:
0) Медианный фильтр можно применять к любому каналу. Но эффект будет разным и не всегда осмысленным. В данном случае вы описываете фильтрацию в канале яркости.
1) Конвертацию в HSV надо делать для всего изображения целиком до начала фильтрации. Можно конечно и на лету, но зачем усложнять? Хотите фильтровать канал яркости? Конвертируете в HSV где яркость есть в явном виде и фильтруете её. После фильтрации можно перевести обратно в RGB, если вам так удобнее.
2) Естественно для вычисления нового значения надо использовать значения пикселей из оригинального изображения. Поэтому результат надо писать не поверх, а в отдельную область памяти.
3) Есть специфика обработки краёв.