Как в windows 10 в папке отображать превью видеофайлов webm?

Никак. Ну почти :)

Миниатюры отображаются либо встроенные и если ОС умеет их считывать, т.е. берутся из файла, либо генерируются самой ОС, опять же, если она умеет считывать файл, а для этого нужны кодеки и чтоб они были прописаны в системе.
https://windowstips.ru/generirovanie-eskizov-media...

В общем-то можно последовать всем тем же советам, что и с другими файлами.