Почему используют шестнадцатеричную систему счисления?

Это вопрос масштабируемости кода. В сложных приложениях или библиотеках API, где возможных ошибок/экспешенов может быть много и на разных уровнях байтовая структура кода ошибки упрощает организацию иерархии этих ошибок и их парсинг внутри кода для отладочного вывода например.
Та же константа OP_INSERT может на более высоком уровне быть младшим байтом ошибки с кодом 970. А старший байт значения 970 может определять какой конкретно обработчик в данном случае вызывать. При этом самих обработчиков может хоть 20 быть (от ошибки при подключении клавиатуры до ошибки при подключении дисплея), но всем им можно передать одну единственную константу OP_INSERT/младший байт кода ошибки.
В свою очередь 0х1, 0х2, 0х4 это отдельные биты в байте. И если на более высоком уровне возникло сразу несколько ошибок низкого уровня, то вы легко и явно сообщаете об этом обработчику путём установки соответствующих битов байта ошибки в 1, обработчик же эти биты последовательно проверяет и обрабатывает. При десятичном представлении это достаточно сложно реализовать было бы.