VLA (variable length of arrays) не входит в стандарт c++, но реализовано компиляторами gcc/clang.
Msvc не обязан поддерживать, то что не входит в стандарт.
Вам нужно сначала собрать libx264 из исходников, скопировать libx264-128.dll в $ {MinGWDir}\bin, libx264.dll в $ {MinGWDir}\lib , а потом уже собирать libav с опцией --enable-libx264