Какой алгоритм поиска информации в Интернете должен быть для парсера?

Доброго дня!
Планирую создание парсер-приложения или бота для поиска информации в Интернете на заданные темы, для контент-агрегатора. Меня интересует алгоритм этого поиска, как он будет выглядеть доступно? Что туда стоит внести и предусмотреть?