Чем создать карту сайта на 5млн страниц?

Привет! Есть сайт с 5млн страниц. Нужно сделать карту сайта, интересует серверное решение в консоли, желательно многопоточное. Все что находил на гитхабе – это один поток и очень медленная работа. Есть какие нибудь варианты?
  • Вопрос задан
  • 466 просмотров
Пригласить эксперта
Ответы на вопрос 3
miraage
@miraage
dev
https://www.sitemaps.org/protocol.html

You can provide multiple Sitemap files, but each Sitemap file that you provide must have no more than 50,000 URLs and must be no larger than 50MB (52,428,800 bytes). If you would like, you may compress your Sitemap files using gzip to reduce your bandwidth requirement; however the sitemap file once uncompressed must be no larger than 50MB. If you want to list more than 50,000 URLs, you must create multiple Sitemap files.
Ответ написан
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
Мне кажется что парсить сайт по внешним ссылкам - это ну очень ресурсоемко и криво.
Логично генерить sitemap путем хардкода структуры сайта/запросов в базу, заодно можно корректно заполнять поля lastmod, changefreq итд.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы