@DenisVladimirovich

Как обрабатывать BigData?

Добрейшего дня господа уважаемые. Подскажите пожалуйста, как лучше обрабатывать большое количество данных в связке Ract приложения и backend на Falcon(python)? Я думаю сделать полностью API на python, а из него уже брать данные для фронтенда.
  • Вопрос задан
  • 208 просмотров
Пригласить эксперта
Ответы на вопрос 1
Robur
@Robur
Знаю больше чем это необходимо
никакой график и уж тем более таблица на экране не вместит миллионы значений. даже больше 100 - редкость. Вам не нужно все это грузить и пытаться вывести разом.

Чтобы не грузить больше чем надо:
- фильтрация (например "данные за сегодня" или "вот по этому человеку")
- пагинация (следующие 50 записей начиная с 123849)
- аггрегация (средний доход по каждому году за последние 10 лет - получаете 10 записей в ответе)
- виртуализированные таблицы которые рендерят только то что нужно, а не все 100500 записей которые вы ей скормили (https://github.com/bvaughn/react-virtualized, дальше погуглите)

Чтобы не тормозило на сервере:
- правильные индексы
- по максимуму использовать возможности SQL
- грамотная организация данных/работы с ними (по возможности)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы