Как решить проблему пагинации wordpress?

Добрый день, уже вымотался с этим плагином wp_pagenavi
Сразу говорю, менял постоянные ссылки на дефолтные и обратно, устанавливал плагин no category, прописывал вручную, делал сброс rewrite rules, удалял плагин htaccess, заново устанавливал, что только я не пробовал, но ничего не помогает, как только перехожу на page 2 сразу получаю 404
Вот код

<?php 
$categories = get_the_category();
$category_id = $categories[0]->cat_ID;

$display_count = 1;
$page = get_query_var( 'paged' ) ? get_query_var( 'paged' ) : 1;

//Пробовал и так
//$page = get_query_var( 'page' ) ? get_query_var( 'page' ) : 1;

//Оффсет нужен на 1 пост
$offset = ( $page - 1 ) * $display_count;


$args = array( 'offset' => $offset +1 , 'posts_per_page' => 1, 'cat' => $category_id , 'paged' => $page);
$the_query = new WP_Query( $args ); ?>

<?php if ( $the_query->have_posts() ) : ?>
  <?php while ( $the_query->have_posts() ) : $the_query->the_post(); ?>

//Контент
<?php endwhile; ?>
<?php wp_pagenavi(array('query' => $the_query)); ?>
<?php wp_reset_postdata(); ?>
<?php else : ?>
<p><?php _e( 'Sorry, no posts matched your criteria.' ); ?></p>
<?php endif; ?>