Обмен данными о парсинге между 2 базами данных mysql?

Имеется машина для парсинг и удалённый Web сервер. Кто сталкивался с такой задачей подскажите самый оптимальный выход. На машине парсинг идёт соответственно парсинг, очистка и запись в бд локальную, далее из этой базы будет происходить добавление записей в удалённую бд сайта. Может есть решение которое уже опробовано и проверено чтобы не тратить время на спотыкания по пути) как вариант рассматриваю вариант парсера на пайтоне но не исследовал нагрузку.
  • Вопрос задан
  • 133 просмотра
Решения вопроса 1
Результаты парсинга можно складывать в очередь, к которой могут подсоединяться воркеры по такой схеме:
Parser -> MQ <-> workers <-> HTTP API (server) <---(internet)---- HTTP client -> DB
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
Quattro_Vias
@Quattro_Vias
Искусство простоты - это сложная головоломка
Важно учитывать объём инфы и область парсинга, но ...

Если речь про - "самый оптимальный выход" ...
Вариант с парсингом сразу с сервера и записью в его БД - не подходит ?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы