Как сделать подсветку синтаксиса языка разметки html в самописном редакторе?

ну в textarea вообще подсветку не сделаешь.
все современные WYSIWYG-редакторы сделаны по принципу подмены обычной textarea блоком, в котором можно вставлять разметку (т.е. обычный div) и при фокусе в этом блоке скрипт фокусируется и в textarea. Таким образом, набирая символы, мы их набираем по сути в скрытой textarea и они же дублируются в div, который видим. Ну а в div'е уже можно выделять текст, обводить его любыми span, в том числе теми, которые задают цвет.