web_dev
@web_dev

Вычисления с помощью Apachee Spark. Мощный сервер или такой же по мощности — кластер?

Здравствуйте. Не могу "нагуглить" сл информацию и хочется понимать...
В случае с Apachee Spark вычислений - нужно много оперативной памяти, кластер вычислительный и так д..
Но настаёт вопрос, который я немного не понимаю.

В случае с MapReduce как будет вычисляться быстрее. Если один сервер имеет такие же параметры как.. скажем 5 нодов в кластере?
Какова приблизительная производительность вычислений одного сервера и кластера с такими же параметрами?

Например сервер 10 ядер и 256 оперативки
5 нодов кластера по 2 ядра каждый и 51 гб оперативки.

Спасибо!
  • Вопрос задан
  • 1067 просмотров
Пригласить эксперта
Ответы на вопрос 3
sgjurano
@sgjurano
Разработчик
Зависит от ваших вычислений. В общем случае кластер будет быстрее за счет параллельной обработки блоков данных (чаще рассчеты упираются не в CPU и память, а в диски и сеть).
Ответ написан
@kxl
Если все данные влазят на диски одного сервера, то, за счёт отсутствия передачи данных по сети, этот вариант может оказаться более производительным.
Ответ написан
angrySCV
@angrySCV
machine learning, programming, startuping
памяти всегда чем больше тем лучше, но это не критично, тк в спарке любую большую задачу можно и нужно делить на серию маленьких которые выполняются в памяти.
По поводу разницы между кластером и одним мощным сервером, мощный сервер будет быстрее, из-за более высокой скорости в выполнении "синхронизации" между "воркерами".
Но при грамотно составленных задачах расходы на синхронизацию будут чрезвычайно малы и могут выполнятся параллельно выполнению самой задачи, что вобщем особо не будет влиять на производительность.
В любом случае масштабировать свой сервис через повышение мощности одного сервера - это тупиковый путь. Так что я бы даже не замарачивался по поводу одного очень очень мощного и супер дорогого сервера.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы