Вариантов немного — сжать видео в нескольких разрешениях и отдавать их в зависимости от разрешения экрана. Например, на телефоне хватит и 720P. Какой формат и битрейт — посмотрите любой гайд о видео для web.
1) Урезаете видео по длительности на сколько это возможно
2) Сжимаете (есть даже онлайн конвертеры)
3) Сделайте отдельный формат с webm. И дополнительно подключите в разметке.
4) Настройте кэширование на сайте видео файлов
