Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?

А вы уверены, что проблема именно в CPU, а не в скорости считывания файла с диска?
Особенно учитывая, что файлов очень много?

GPU достаточно специфичная вещь, смысл ее применять для подобной операции не слишком виден.

Как можно задействовать GPU во всех вычислениях вместе с CPU поиск в txt файлах?

Задействовать конечно можно.
Только что именно GPU будет делать???
GPU умеет считать сразу сотни процессоров одновременно будут щелкать как орешки операции с плавающей запятой, и все. кроме этого она ничего не умеет делать.
А что конкретно вам считать надо?

У вас вроде поиск в файлах - там вычислений практически нет. Считать нечего.

Файлов очень много, поиск требуется осуществлять максимально быстро.

Значит нужно строить индекс.

поиск требуется осуществлять максимально быстро

Это делается индексированием файлов (один раз) и поиском по индексу, а не по файлам. Яндекс как-то даже делал десктопное приложение, которое такой поиск реализовало. Хотя в Виндах, начиная с ХР, теоретически есть встроенный.

найти/сделать алгоритм текстового поиска с использованием GPU и применить в своих задачах.
не уверен что найдешь, ибо GPU ориентирован на несколько другие задачи (более математические).
но спробуй.

Мне кажется, дело упирается в I/O, а не проц. А чтобы это точно узнать, снимите метрики нагрузки проца, памяти, процент использование дисков (не объема, конечно, а того, что в atop зовётся busy)

Локальный поисковик
- Как раз то, что вам нужно.

Recoll

GPU никак не заюзать для этой задачи. Но сделать очень быстро можно если есть руки и голова и следующее:
1) Экстремально быстрый диск, еще лучше если это будет ram диск в очень быстрой оперативке
2) многоядерный проц.
3) софт в котором крайне понимающие люди учли все затыки, переключения контекстов между ядрами, число обращений к ненужным api системы, нашли самый быстрый вариант поиска совпадений(регулярка или условия) и много других тонкостей.

В вашем случае затык в 99% будет уже просто на этапе накопителя т.к. он врядли обеспечит такую скорость чтобы утилизировать проц даже средний и даже со средней паршивости программой.