Создание свого аудиоформата, с чего начать?

Я хочу создать свой собственный аудиоформат, подскажите, пожалуйста, с чего можно начать

Начать с того, что отдохнуть от этой дурной мысли.
Следующим шагом можно создать свою операционную систему ;-)

С написания диссертации по обработке сигналов. Ну или со знакомства с человеком, который пишет диссертацию по обработке сигналов.

Почему? Потому что чтобы превзойти существующие решения хотя бы в какой-то нише (напр., приемлемое качество речи при очень низком битрейте, или lossless-кодирование с высокой степенью сжатия) нужно хорошо поработать. Потом еще провести десяток-другой серьезных экспериментов, чтобы доказать преимущества вашего подхода в конкретных случаях (см. выше). Тогда в вашем кодеке будет реальная ценность, и вас, возможно, услышат серьезные люди.
А "для себя" - Stalker_RED уже все сказал: изучите теорию, и существующие решения. Узнаете столько всего, что с вероятностью 98% перехочется делать свое. Зато будете знать, как делают другие.

Начните с постановки вопроса - а зачем нужен новый формат? Вас чем-то не устраивают существующие (соответственно изучите существующие).

Если чем-то не устраивают, то чем? Например OGG - был сделан по-тому, что кого--то не устраивала проприетарность MP3. Если вас, например, не устраивает степень сжатия - то начните с создания своего алгоритма сжатия. И т.п.