MegaMufa
@MegaMufa

Как вести распределенные вычисления оп заранее неизвестному алгоритму?

Добрый день.

В распределенных вычислениях понимаю очень мало. Но встала задачи написать софтину, которая позволяла бы разделить вычисления между несколькими машинами.

При этом заранее неизвестно, что это будут за вычисления. Может быть, что угодно: от парсинга больших текстовых файлов до обработки видеопотока.

Т.е. часто производятся вот такие сложные и долгие операции. И есть несколько компов, простаивающих без дела. Хотелось бы как то их задействовать.

Честно говоря, я совсем не представляю, как это сделать. Пожалуйста, подскажите, в каком направлении двигаться? Может есть идеи или какие-нибудь статьи на эту тему? Буду очень благодарен за любую информацию.
  • Вопрос задан
  • 2619 просмотров
Решения вопроса 1
AMar4enko
@AMar4enko
Для начала вам надо понять, можно ли работу, требующую распределения, разделить на независимые блоки. В одних случаях это достаточно легко - парсинг файлов можно построчно разбить на блоки и парсить каждый блок на своей машине. С видеопотоком уже сложнее.
Если это сделать можно, то просто пишете воркер и координатор. Воркер регистрируется в координаторе, координатор разбивает задачу на мелкие блоки, отправляет их на доступные воркеры, собирает обратно результаты - сама по себе задача организации такого взаимодействия достаточно тривиальна.
Т.е. основная ваша задача это разобраться с самими распределенными вычислениями, задачами, которые могут решаться с их помощью. Вот, например, курс интуита
www.intuit.ru/studies/courses/1146/238/info
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы