Посоветуйте библиотеку с открытым кодом для работы с музыкальными файлами (предпочтительно в wav-формате)

Смотря какая обработка нужна. Если ничего экзотичного, то, возможно, подойдет GStreamer - универсальное но, как следствие, довольно тяжеловесное решение. Умеет работать со многими типами аудио-данных. Все базовые вещи делать умеет.
Если алгоритмы обработки свои использовать, то записывать и читать аудиоданные в wav-формате, мне кажется, легче вручную: там никакого сжатия нет, просто цфровые отсчеты подряд для левого и правого канала (в случае stereo). Чтобы проиграть поток можно, опять же, GStreamer подключить.
Если нет своих алгоритмов, то нужно уже под конкретные задачи искать библиотеки.