Как определить, кто говорит на данный момент?

Question

amiznikov @amiznikov

Как определить, кто говорит на данный момент?

Всем привет, такой вопрос. Есть конференция, где люди говорят между собой, нужно как-то определять, кто активный говорящий на данный момент. Получить данные - не проблема, проблема в вычислении. Т.е. тут множество вариаций: один может постоянно говорить громко, один постоянно говорить тихо, что следует, что среднее вычисление тут не совсем подходит. Данные получаю каждые n мс, могу менять период. Всем заранее спасибо.

Вопрос задан более трёх лет назад
372 просмотра

18 комментариев

Подписаться 2 Простой 18 комментариев

Сергей Соколов @sergiks Куратор тега Алгоритмы

какие данные получаете?
Чем снимается звук: моно микрофоном, стерефо, квадро, у каждого спикера индивидуальный микрофон?

Написано более трёх лет назад
amiznikov @amiznikov Автор вопроса

Сергей Соколов, тут не стоит углубляться, я получаю audioLevel из статы по вебртц, там просто значения от 0 до 1

Написано более трёх лет назад
profesor08 @profesor08

Если в конференции люди между собой говорят, то вероятно у каждого свой микрофон, а раз получить данные не проблема, то можно получить и источник звука, а там уже сопоставить id источника с id говорящего. Никакой обработкой звука тут и пахнуть не должно.

Написано более трёх лет назад
xmoonlight @xmoonlight

profesor08,
то вероятно
Вот в чём СОК! )

Написано более трёх лет назад
Роман @lastuniverse

profesor08, насколько я понял, источником звука является MediaStreamAudioSource. Если это так, то как вы предлагаете, без обработки передавать аудиопоток? Транслировать все подряд? Намного логичнее на мой взгляд все таки произвести предобработку потока, чтобы исключить трансляцию от клиента в моменты когда он (клиент) молчит. Разве нет?

Написано более трёх лет назад
xmoonlight @xmoonlight

Роман, он имел ввиду сигнализацию на управление потоком (кмк).

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, если честно, то не понял о чем речь. Что такое кмк?

Написано более трёх лет назад
xmoonlight @xmoonlight

Роман, когда жмут "говорить" JS запрашивает поток с сервера.
при отдаче потока - фиксируем id потока и id юзера.
кмк = как мне кажется

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, ну если так, то да. Имея программный аналог тангенты обрабатывать звук нет нужды, согласен.

Написано более трёх лет назад
profesor08 @profesor08

Роман, автор вопроса комментариев не дает, видимо слился, что тут еще обсуждать?

Написано более трёх лет назад
xmoonlight @xmoonlight

profesor08, какие тут комментарии? нет у него сигналки) Есть только "лягушка" на столе)

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, profesor08, только сейчас дошло, что у автора скорее всего не вэб реализация аудио/видео конференции а аппаратная, по типу тех что ставят в конференц залах)))
Если это так, то вариант profesor08 на мой взгляд оптимален.

Написано более трёх лет назад
xmoonlight @xmoonlight

Роман, у "лягушки" нет выделенных микрофонов для каждого участника конференции. Там несколько микрофонов по кругу (3 обычно) и она ставится в центр стола (или в ряд через 1,5-2 метра, если стол в переговорке/конференц-зале длинный).

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, в таком случае действительно остаеться только идентификация участников по голосу.

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, хотя вру. В моей организации (мо рф) такие проблемы решают просто и в лоб, с помощью оператора)))

Написано более трёх лет назад
xmoonlight @xmoonlight

Роман, всё как обычно... через *опу человеческий фактор... :(

Написано более трёх лет назад
Роман @lastuniverse

xmoonlight, так и есть ))))

Написано более трёх лет назад
Роман @lastuniverse

Идеальным вариантом для вас будет использовать Voice Activity Detection

ЗЫ: сам я этот вопрос так и не победил. У скриптовых ЯП на момент написания этого поста просто нехватало быстродействия)))

ЗЫЗЫ: вот чутка погуглил и нашел такую либу:
https://www.npmjs.com/package/voice-activity-detection
https://github.com/kdavis-mozilla/vad.js/tree/master

Ну и на коленке сделал рабочий пример. Перейдите во вкладку Result, разрешите временный доступ к микрофону, подождите пару секунд и начинайте говорить.

snippet

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 2

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Алгоритмы

Средний
Справится ли алгоритм с задачей по поиск слов в словаре?
- 1 подписчик
- вчера
- 62 просмотра
1

ответ
Алгоритмы

Простой
Как определить сложность алгоритма?
- 1 подписчик
- 16 апр.
- 101 просмотр
3

ответа
Алгоритмы

+2 ещё

Простой
Какая может быть формула для решения этой задачи?
- 3 подписчика
- 11 апр.
- 5349 просмотров
3

ответа
Алгоритмы

+1 ещё

Простой
Как узнать, входит ли игрок1 (x,y,z) в поле игрок2 (x,y,z)?
- 1 подписчик
- 08 апр.
- 190 просмотров
3

ответа
C++

+1 ещё

Простой
Как решить данную задачу при помощи префиксного дерева?
- 2 подписчика
- 05 апр.
- 192 просмотра
1

ответ
Видео

+4 ещё

Простой
Что будет если в камеру во вход mini jack для микрофона подключить aux?
- 1 подписчик
- 04 апр.
- 77 просмотров
0

ответов
Алгоритмы

+1 ещё

Средний
Есть ли современная реализации алгоритма триангуляции невыпуклого многоугольника с отверстиями?
- 1 подписчик
- 29 мар.
- 108 просмотров
0

ответов
Командная строка

+1 ещё

Простой
Как склеить несколько wav в консольном режиме?
- 1 подписчик
- 27 мар.
- 95 просмотров
1

ответ
JavaScript

+1 ещё

Средний
Как найти начальную точку для определения маршрутов в двумерном массиве?
- 1 подписчик
- 15 мар.
- 226 просмотров
6

ответов
Алгоритмы

+1 ещё

Простой
Как объединить списки, полученные от 2 REST API с параметрами `limit` и `offset`, и вернуть его, согласно параметрам `limit` и `offset`?
- 1 подписчик
- 15 мар.
- 105 просмотров
2

ответа
Показать ещё Загружается…

С developer (алгоритмист)

СберТех • Москва

от 350 000 ₽

Бэкенд программист

Grade Factor • Москва

от 80 000 ₽

Senior Java Developer, Database Engine

CedrusData

от 350 000 ₽

Дизайн сайта для web3 проекта

18 апр. 2024, в 16:43

50000 руб./за проект

Составление технических заданий для разработчиков

18 апр. 2024, в 16:41

10000 руб./за проект

Перекрасить 2 вкладыш для типографии в новый цвет

18 апр. 2024, в 15:55

1000 руб./за проект

какие данные получаете?
Чем снимается звук: моно микрофоном, стерефо, квадро, у каждого спикера индивидуальный микрофон?
Сергей Соколов, тут не стоит углубляться, я получаю audioLevel из статы по вебртц, там просто значения от 0 до 1
Если в конференции люди между собой говорят, то вероятно у каждого свой микрофон, а раз получить данные не проблема, то можно получить и источник звука, а там уже сопоставить id источника с id говорящего. Никакой обработкой звука тут и пахнуть не должно.
profesor08,
то вероятно
Вот в чём СОК! )
profesor08, насколько я понял, источником звука является MediaStreamAudioSource. Если это так, то как вы предлагаете, без обработки передавать аудиопоток? Транслировать все подряд? Намного логичнее на мой взгляд все таки произвести предобработку потока, чтобы исключить трансляцию от клиента в моменты когда он (клиент) молчит. Разве нет?
Роман, он имел ввиду сигнализацию на управление потоком (кмк).
xmoonlight, если честно, то не понял о чем речь. Что такое кмк?
Роман, когда жмут "говорить" JS запрашивает поток с сервера.
при отдаче потока - фиксируем id потока и id юзера.
кмк = как мне кажется
xmoonlight, ну если так, то да. Имея программный аналог тангенты обрабатывать звук нет нужды, согласен.
Роман, автор вопроса комментариев не дает, видимо слился, что тут еще обсуждать?
profesor08, какие тут комментарии? нет у него сигналки) Есть только "лягушка" на столе)
xmoonlight, profesor08, только сейчас дошло, что у автора скорее всего не вэб реализация аудио/видео конференции а аппаратная, по типу тех что ставят в конференц залах)))
Если это так, то вариант profesor08 на мой взгляд оптимален.
Роман, у "лягушки" нет выделенных микрофонов для каждого участника конференции. Там несколько микрофонов по кругу (3 обычно) и она ставится в центр стола (или в ряд через 1,5-2 метра, если стол в переговорке/конференц-зале длинный).
xmoonlight, в таком случае действительно остаеться только идентификация участников по голосу.
xmoonlight, хотя вру. В моей организации (мо рф) такие проблемы решают просто и в лоб, с помощью оператора)))
Роман, всё как обычно... через *опу человеческий фактор... :(
Идеальным вариантом для вас будет использовать Voice Activity Detection

ЗЫ: сам я этот вопрос так и не победил. У скриптовых ЯП на момент написания этого поста просто нехватало быстродействия)))

ЗЫЗЫ: вот чутка погуглил и нашел такую либу:
https://www.npmjs.com/package/voice-activity-detection
https://github.com/kdavis-mozilla/vad.js/tree/master

Ну и на коленке сделал рабочий пример. Перейдите во вкладку Result, разрешите временный доступ к микрофону, подождите пару секунд и начинайте говорить.

snippet

Answer 1 · 2019-09-18 18:48:26

1. Для начала нужно выписать все критерии потока данных, которые Вы можете получить для одного участника (это могут быть не только аудио-данные!).
2. Сформировать модель для каждого из участников на основе этих критериев (pre-learn).
3. Сформировать хеш по модели (hashing).
4. Искать такой хеш в потоке (поток->хеш==хеш->участник) и возвращать участника по хешу (analyze).

Это будет работать, даже если несколько будут говорить одновременно!

Answer 2 · 2019-09-18 19:00:57

Взять хороший направленный микрофон
Тот кто говорит в него - главный

Взять переносной микрофон - в него говорит оппонент

Как определить, кто говорит на данный момент?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт