Как сделать «беспроблемную» перемотку в любой момент аудио?

"неловкая пауза" - последствие того что вам нужно буферизовать кусок данных что бы начать проигрывать аудио. Просто до этого момента нечего проигрывать. Как это обойти... да никак по сути. Чем быстрее будет происходить буферизация - там меньше задержка. Что бы невилировать паузу - можно попробовать усложнить логику и останавливать воспроизведение, дожидаясь пока у нас сбуферизуется минимально необходимый кусок данных что бы можно было начать играть.

В любом случае с медленным коннектом к серверу задержки всеравно будут иметь место.

скорее всего неактуально, но я решил эту проблему просто использовав формат .ogg вместо mp3, все стало подгружаться полностью и сразу