@Heavy10110

Архитектура kinesis+spark stream?

Есть стрим на AWS. Использую библиотеку KCL для python. Consumer и producer работают, запускаю их на локальной машине, данные прогоняются через стрим, все хорошо. Вопрос - я хочу интегрировать сюда spark streaming, в документации сказано, что он используется в связке с kinesis след образом: данные приходят в kinesis consumer и оттуда данные идут в spark streaming. Правильно ли я понимаю, что нужно разворачивать EMR Кластер со Spark и уже в мастер закидывать consumer, который kinesis? Если да, то где будет код spark streaming? Разъясните пожауйста архитектурную схему.
  • Вопрос задан
  • 109 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы