Как перевести из формата mpg в mp4 или нарезать m3u8?

1. mpg -> mp4 тут не понятно что именно вы хотите, по принципу, какой вопрос - такой ответ:
ffmpeg -i in.mpeg out.mp4
сделает всё для вас.
Для HLS нужно курить:
https://www.ffmpeg.org/ffmpeg-formats.html#segment...
https://bitbucket.org/walterebert/ffmpeg-hls/src

2. чёрные края
Если размеры известны, поможет фильтр crop:
https://ffmpeg.org/ffmpeg-filters.html#crop
video.stackexchange.com/questions/4563/how-can-i-c...
если не известны - пишите своё, что бы детектило и настраивало crop.