propovednik
@propovednik

Как получить список доменов, на которые ссылается данный сайт?

Захотел получить список сайтов в определенной географической области и отрасли. Идея: взять список сайтов, которые я уже знаю, пустить туда краулера, он выяснит на какие сайты ссылаются имеющиеся у меня сайты, затем пройдется по ним и т.д.
Однако выяснилось, что такого функционала в любимом wget нет. То есть можно заставить его начиная от определенного домена скачать весь интернет, но функции просто предоставить список доменов нет.
Есть способ заставить wget сделать то, что я хочу либо быть может есть какой-нибудь легкий краулер, который бы выполнял именно такую задачу (то есть поиск сайтов, на которые ведут ссылки с текущего сайта)?
  • Вопрос задан
  • 2378 просмотров
Пригласить эксперта
Ответы на вопрос 1
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
Ищете регулярками все конструкции href="([^"]+)", выдираете из них домен, сохраняете куда нибудь.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
YCLIENTS Москва
от 200 000 до 350 000 ₽
Ведисофт Екатеринбург
от 25 000 ₽
ИТЦ Аусферр Магнитогорск
от 100 000 до 160 000 ₽