@Victorius

Есть ли программные продукты для определения действий человека по видео?

Добрый день!
Слышал, что есть готовые программные продукты, которые позволяют определять действия людей на основе видеопотока. Действия связаны с ресторанной деятельностью. Может ли кто подсказать такой программный продукт, чтобы из коробки поставить и пользоваться?
Сценарий использования следующий:
  • Бариста принимает заказ
  • Бариста молет зерна
  • Бариста варит кофе
  • Бариста взбивает сливки/молоко
  • Бариста принимает оплату
  • Бариста выдает кофе
  • Вопрос задан
  • 72 просмотра
Пригласить эксперта
Ответы на вопрос 1
@rPman
Готового софта даже в общем случае для определения что делает человек - не существует, но именно последнее десятилетие, благодаря мощностям железных кластеров gpu и нейронным сетям возможно создание такого софта в узких областях, конкретно в вашем случае - отслеживание действий бармена.

Но для этого вам необходимо уже собранное приличное количество видео, охватывающее все виды деятельности бармена (кстати разных людей) причем по многу раз и желательно с нескольких ракурсов. Затем вы должны сесть сами или нанять команду девочек-операторов, которые разметят каждый кадр! снятых видео что на них происходит (скорее всего вам не надо выявлять объекты на видео, только сам факт наличия действия). Вполне возможно что предварительно вам придется нанять программиста, который подчистит видео от лишней информации (например вырежет часть изображения, на которую попадают клиенты), и возможно отследит положение бармена (технически библиотеки для этого есть). Этот же программист подберет софт и запустит построение нейронной сети на собранных данных на вашем gpu кластере (или если речь идет об облачных услугах то немного дешевле на гугловских TPU)

и в результате, если вам повезет, вы получите нейронную сеть, которая по любому кадру видео в реальном времени на дешевом железе сможет выдавать классификацию, чем занят человек на нем.

В общем работы у вас непочатый край и по деньгам это будет очень и очень дорого.

p.s. если не боитесь большого количества фальшивых срабатываний, можно просто определять положение бармена (несколько камер и простое приложение на opencv), а там, если он рядом с кофеваркой дольше порогового значения времени - варит кофе, если у кассы - принимает оплату и т.п.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы