Konstantin18ko
@Konstantin18ko
Стоматолог

Как правильно обработать большое количество данных полученных SOAP?

Есть проект на Django, который получает SOAP данные (zeep библиотека), переводит их в JSON (для удобной обработки во VueJS).
Но вот незадача, SOAP отправляет 212020 записей постранично, что превращает из одного запроса в 425 запросов.

Как итог, это превращается в целое мучение:
Axios отправляет запрос на сервер Raspberry Pi 3, который перенаправляет запрос на nsi.rosminzdrav.ru, который присылает данные обратно на Raspberry Pi 3, где они переводятся в JSON формат и отправляются обратно клиенту.
И вся эта процедура занимает от 6 до 12 часов. Как ускорить процесс (программно и аппаратно, по возможности с примерами или ссылками на документацию)?
  • Вопрос задан
  • 86 просмотров
Пригласить эксперта
Ответы на вопрос 1
alternativshik
@alternativshik
425 запросов и 212к записей - это немного. Зачем их каждый раз все получать? Почему их нельзя получить только единожды и сохранить себе, а потом только получать последние записи - 1-2 страницы.
Ну и можно же отправлять параллельные запросы, получать разные страницы и сохранять их.
На основе скудного описания довольно сложно предложить что-то конкретное. В каком месте-то хоть оно тупит. Получение всех данных или их обработка - это ведь совершенно разные ситуации, требующие разных решений.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы