С помощью каких средств можно парсить и скачивать документы .doc / .pdf / .xls из некоторого множества доменов?

коллеги, прошу помочь - задача следующая выкачивать документы из некоторого множества доменов.
Первым делом вспоминаю про metagoofil - почему то он мне не выдал ни одного результата
goofile - аналогично без результатов
(мне кажется тут какая то общая проблема, но ума не приложу в какую сторону думать)
searchdiggity - в процессе поиска русскоязычной документации

что может быть за проблема с вышеуказанными скриптами
какие есть еще средства для решения моей задачи?