Владимир Будаков

Попробуйте абсолютно бесплатный плагин LiteSpeed Cache — он реально помогает с оптимизацией WP:
Со стилями и скриптами: минификация, объединение, генерация Critical CSS (бесплатно, в отличии от остальных) асинхронная загрузка
С изображениями: оптимизация, ленивая загрузка
Со шрифтами: асинхронная загрузка
А если ещё сайт перенести на хостинг с веб сервером LiteSpeed, то и кэшированием займется, на Apache вроде не работает кэширование.
У меня с ним страницы грузятся за 0,4-0,6 сек и 1,2-1,6 на мобильных по данным PageSpeed Insight.
Самое лучшее и удобное решение для WP, установил, один раз настроил и забыл. Работает как часы, сайты летают.

У меня такое бывает из-за cdn, когда страница обновлена, а cdn еще не закэшировал её в том регионе, откуда гугл ее мониторит. Последующие разы проверки баллы выше. А так разные могут быть причины: от самого хостинга, настроек кэширования на сервере, cdn, до количества http запросов. Чем меньше http запросов, тем ровнее результаты проверки.
Проверьте ещё ваш сайт в gtmetrix, там больше информации по задержкам дают.