Как проверить множество сайтов на наличие слов?

Добрый день. Подскажите пожалуйста, как возможно проверить 16000 сайтов на наличие некоторых слов на главной странице ? Автоматизировано. То есть, чтобы робот зашёл на главную страницу сайта, проверил на наличие нужного слова, если нашёл, то отметил этот сайт, потом следующий сайт и т.д.

В общем задача - найти в списке сайтов те сайты, в которых содержится нужное слово.