Почему БигДата делается на Scala?

Всем привет

Обратил внимание на парадоксальную вещь.

1) Везде пропагандируется питон для БигДаты и многие туториалы делаются именно на нем.
2) Реальная практика показывает, что питон считается "песочницей", а реальные бигдата проекты делаются на Scala/Java.

Вопрос: Чем так плохи питон для бигдаты, и если все так плохо, то зачем его пропагандируют?
  • Вопрос задан
  • 2748 просмотров
Пригласить эксперта
Ответы на вопрос 3
@ivodopyanov
NLP, python, numpy, tensorflow
Не питон плох для бигдаты, а джава хороша для энтерпрайза
Ответ написан
Комментировать
angrySCV
@angrySCV
machine learning, programming, startuping
проблема с эффективность использования ресурсов в питоне
тк это динамически типизированный язык.
Джава / скала - статически типизированный языки.
При статической типизации ниже гибкость, но выше эффективность работы с данными, при динамической наоборот.
Скала позволяет сочетать в себе плюсы динамической типизации (благодаря автоматическому выводу типов), и сохранять высокую эффективность работы.
Есть еще и другие детали, например если говорить за SPARK -> который на скала реализован, зная скала, ты уже знаешь спарк, тк там практически такойже апи для работы с коллекциями, все что тебе нужно для того чтоб твой код работал на спарк кластере, заменить название коллекции которую ты обрабатываешь с например Array[MyClass] на RDD[MyClass], и грубо говоря - весь твой код без изменений будет обрабатываться на спарк кластере, само собой такого нет и не будет в питоне, там тебе нужно будет осваивать дополнительный апи.
Ответ написан
Комментировать
eastywest
@eastywest
Backend developer
На JVM хорошая поддержка многопоточности, а в Scala отличная библиотека коллеций. Да и много решений в поледнее время пишутся на Scala (Spark, Kafka, ...)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы