Полное решение на основе ответа
SOTVM с некоторыми дополнениями :
1. В файле $HOME/.config/user-dirs.dirs закоментить нужные переменные (не нужные ярлыки):
#XDG_MUSIC_DIR="$HOME/Music"
#XDG_VIDEOS_DIR="$HOME/Videos"
2. В файле /etc/xdg/user-dirs.defaults закоментить нужные переменные (не нужные ярлыки).
3. Завершить сессию.
4. При возобновлении сессии по не нужным ярлыкам в панели (они опустятся вниз и их вид изменится на папки) кликнуть пкм и вибрать "Изьять".
5. Если нужно будет вернуть обратно ярлыки, то просто раскомментировать их.