WP ко всем адресам добавлен pagespeed, как избавиться от этого кеша?

Возможно плагин записал настройки в .htaccess на сервере, или в процессе настройки просил вас это сделать руками, а вы уже забыли об этом. Ибо если посмотреть HTTP-заголовки конкретно этого (и некоторых других) файла то там есть x-page-speed: on, что означает что удалили вы явно не всё.

Update: И как подсказывает Дмитрий в комментах, скорее всего это модуль PageSpeed для Apache. Вам его нужно отключить.