Ускорит ли Wordpress покупка более мощного сервера?

Если нет нагрузки от кучи пользователей то нет

мне все равно не нравится лишняя секунда задержки при открытии, особенно в админке wordpress.

1) Это вордпресс, что вы хотели, вы еще битрикс не видели
2) Профилирование - процесс выяснения узких мест, если в коде разбираетесь - вполне возможно это даст вам ответ что и где можно изменить.
3) Кэш - проверьте работу механизма кеширования(включите/отключите), иногда вп дико глючит с некоторыми расширениями в плане работы с кешем.
4) Возможно проблема не в вп, задержку могут давать скрипты/файлы загружаемые со сторонних ресурсов(например капча или яваскрипты с медленных серверов), посмотрите что у вас загружается долго через консоль хрома, вкладка нетворк.

Как вариант можно поменять хостинг с такими же характеристиками, но уже с SSD вместо HDD.
Как и сказал Fixid - нужно смотреть на настройки и оптимизацию.

1. Хорошие и не нагруженные диски и процессор
   
2. Достаточное кол-во RAM для кеша
   
3. Тонкая настройка веб-сервера и MySQL
   
4. Wordpress я так понимаю оптимизировать уже некуда. Но лучше начать с него.
   

Если стоит nginx то настройте кеширование через него, а не через php.
В остальном php от 7 версии нормально увеличивает скорость как в админке, так и на самом сайте.

Nginx, PHP 7.2 c Opcache, объектный кеш. Настроить это все нормально (плюс БД).
Дальше - профилирование кода. Можно Blackfire.io - он легковесный, можно запустить на продакшне (не будет такого тупняка как от Xdebug). Профилирование выявит узкие места, по ним можно будет делать выводы.