web_dev
@web_dev

Spark Master as Driver in Kubernetes Cluster?

Здравствуйте, подскажите пожалуйста, кто как ухищряется по запуску Spark в Kubernetes?
Собственно говоря, пока не нагуглил решения, может кто что подскажет..
Хочется в Kubernetes иметь под со Spark-Master был бы одновременно и Driver.

Из которого запускался бы spark-submit и соответственно мониторилась бы джоба и была сразу видна в Web UI а потом и в History Server-е.

Кто запускал Spark в Kubernetes (spark submit on k8s), тот знает, что Kubernetes автоматически создаёт драйвер и екзекюторы, Драйвер после окончания работы екзекьюторов перестаёт быть в статусе Running и соответственно WEB UI больше не доступен.

Я знаю, что можно установить Spark как Standalone Cluster: Master(Pod) + Workers(Pod). Но это немного другой workflow.

Такое возможно? У кого какие решения с Kubernetes?
Спасибо за идеи, советы.
  • Вопрос задан
  • 169 просмотров
Пригласить эксперта
Ответы на вопрос 1
@sergeysamsonov
Добрый день!

Я бы предложил использовать Kubernetes Operator.

Этот паттерн предполагает управление жизненным циклом Spark-приложения непосредственно в кластере K8s.

Более подробно о нашем опыте можете прочитать в статье.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы