Долгий ответ сервера, не понятно, почему?

ping-admin.ru/index.sema проверяй, хостеру высылай

Нашел как-то случайно!
Походу у вас трабл на определенных страницах, а не на сайте в целом. Вот например страница, у которой TTFB аж 1,6 сек(!), тогда как у главной например 0,31 сек.
Посмотрите в сторону выборки из бд, а именно на индексы полей которые используются в where, order... sql-запроса. Это самая распространенная причина.

У вас же вп поставьте кешер и профайлер

Пинайте хостера
у вас те страницы, которые долго грузятся, отдаются минуя их кэш с вот такими заголовками
X-Cache: MISS from t1.hoster.ru
X-Cache-Lookup: HIT from t1.hoster.ru:6666

После того, как запинаете хостера, нужно будет решить, сколько кэша и где вам нужно.
Иметь несколько уровней кэширования - плохо. Лучше оставить что-то одно. Проще оставить тот кэш, который вы можете самостоятельно контролировать. В вашем случае это значит отказаться от кэширования на стороне хостера и поставить плагин кэширования для WP.

Еще один очень важный момент.
Этот плагин кэширования (не важно, какой плагин вы будете ставить) нужно будет корректно настроить. Встречал сайты, где плагины были настроены так, что сайт от них торомозил еще больше. Ваша ситуация под такой сценарий как раз и попадает.
Если самостоятельно настроить плагин кэширования не сможете, отказывайтесь от плагина, откатывайтесь к кэшу от хостера. Просите их включить кэш максимально агрессивно.

Известная проблема, она у 99% сайтов есть.
О ней просто никто не знает, ибо не лезут туда смотреть.
Решается просто, увеличениекм всех таймаутов, притом достаточно значительно.
Кешированием всего живого, но в бесплатных движках там и функционала в этом вопросе никакого.
Уменьшение тяжелых запросов.
НУ или увеличением производительности притом приличной.
Тут дело в самом веб сервере у него очень и очень неравномерный средний хит.