OpenCV многопоточный поиск в видео?

Question

WinAx @WinAx

OpenCV многопоточный поиск в видео?

Приветствую!
Написал программу на Qt с использованием OpenCV под Ubuntu которая ищет положение в видео файле по фото с экрана, к примеру.
Задается путь к видео, путь к изображению после обработки выдается время в секундах.
Решил оптимизировать добавив разбиение поиска на доступные ядра процессора.
Каждый поток выбирает ядро, инициализирует свой VideoCapture, начинает поиск с определенной позиции и на определенное количество кадров.
Все работает правильно, в моем случае все 12 ядер загружаются на сто процентов в отличии от первой версии которая загружала одно ядро.
НО!... Поиск идет примерно в 10 раз медленнее...
С чем это может быть связано?

Вопрос задан более трёх лет назад
490 просмотров

12 комментариев

Подписаться 2 Средний 12 комментариев

Roman @myjcom Куратор тега C++

Кол-во физических ядер минус 1

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

почему?
от 0 до 11 имеется ввиду? это учитывается.

Написано более трёх лет назад
Roman @myjcom Куратор тега C++

WinAx, у вас 12 ядер. Запустили свою программу это уже - 1
осталось "свободных" 11.

Задается путь к видео

Возможно у вас получается 12 процессов обращаются к диску... даже на ssd это очень медленно по сравнению с ОЗУ. Плюс к этому кэш память то же не резиновая.

Для начала попробуйте загрузить все в ОЗУ, что бы к диску не обращаться и разбить данные на 10 (или меньше) потоков, и обрабатывать данные кусками (размер кэша процессора / кол-во потоков)

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).
диск используется примерно на 30% во время работы.
основная нагрузка идет на процессор, там идет сравнение кадров видео с фото экрана. ресурсоемкая задача.
"все в ОЗУ" - это хорошо если видео не большое. но вообще, никаких ограничений на длину видео быть не должно.

Написано более трёх лет назад
Roman @myjcom Куратор тега C++

WinAx,
инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).
Ну и хорошо, оставьте системе хоть что нибудь. Эти 30% нагрузки отнимают N времени на последовательные операции чтения с диска.
Какой у вас процессор?

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

перебьется система)) а если серьезно, то ресурсы делятся в зависимости от потребностей потока.
у меня проц. Intel Core i7-8700.
какой будет на сервере не знаю.

Написано более трёх лет назад
Roman @myjcom Куратор тега C++

WinAx,
https://ark.intel.com/products/126686/Intel-Core-i...

6 ядер, 12 потоков.
6 физических ядер.

Получается, что ваши потоки по 2 на ядро постоянно между собой переключаются отсюда и падение.
Ну еще и кэш засирается.

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

я знаю!)
и?)
замедляется процесс в 10 раз... примерно

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

кстати, таже ситуация на сервере.
не знаю какой там процессор, знаю что 8 ядер.
так же однопоточная версия справляется в 10 раз быстрее, примерно

Написано более трёх лет назад
Roman @myjcom Куратор тега C++

WinAx, сумма факторов.
И https://ru.wikipedia.org/wiki/Кэш

Написано более трёх лет назад
Roman @myjcom Куратор тега C++

WinAx, что и?
Если знаете, то зачем на одно ядро вешать два потока, которые заведомо будут медленнее, чем один, из-за затрат на переключение контекста между ними(потоками).

12 потоков на 6 физических ядрах это турнир по пинг-понгу.

Вы бы вопрос поправили, указав что процессор 6-и ядерный. А не 12.
Решил оптимизировать добавив разбиение поиска на доступные ядра процессора.
Каждый поток выбирает ядро, инициализирует свой VideoCapture, начинает поиск с определенной позиции и на определенное количество кадров.
Все работает правильно, в моем случае все 12 ядер загружаются на сто процентов в отличии от первой версии которая загружала одно ядро.

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

а ничего что в системе в основном тысячи потоков. и как то они работают.
или давайте вспомним одноядерные процессоры.
там как то работал WinAmp и Internet Excplorer и еще система не тормозила.
Хотя часто "осел" забирал почти все ресурсы, звук при этом не останавливался.

это все так...
главное! в любом случае, 6 или 12 физ. ядер, процесс не должен замедлятся!

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 5

4 комментария

WinAx @WinAx Автор вопроса

ну, ладно, плохой алгоритм, а что значит слишком много потоков?
кстати, алгоритм тот же что и однопоточном варианте, отличия описал выше.

Написано более трёх лет назад
Vladimir S @hePPer

openCV для видео использует скорее всего ffmpeg. тот для декодирования видео использует кодеки и как правило в многопоточном режиме. при декодировании может получиться картина - вы создали 10 потоков, в каждом из них opencv/ffmpeg создал еще 5-50 своих потоков. в каждом потоке куча работы - превышающая возможности железа - изза чего провал производительности.

у меня была схожая проблема - только обработка шла в отдельных процессах. на слабой машине было все ок - на машине с кучей ядер - фейл. пока вручную не отрегулировал. т.е. получалось так - запустил 10 процессов - нагрузка 50 % и все норм. 12 - уже 100% и фэйл.

Написано более трёх лет назад
WinAx @WinAx Автор вопроса

да, opencv использует ffmpeg.
в первой версии с одним потоком загружалось только одно ядро.
сейчас каждый поток выбирает себе ядро функцией pthread_setaffinity_np.
в итоге загружены все ядра.
да и фэйлов нету, все работает нормально, только в 10 раз медленнее...
так что проблема явно в другом.

Написано более трёх лет назад
Vladimir S @hePPer

да и фэйлов нету, все работает нормально, только в 10 раз медленнее...

это и есть ваш фэйл.
начните с 2х потоков - посмотрите если ли прирост.

Написано более трёх лет назад

1 комментарий

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Программирование

+2 ещё

Средний
Как исправить ошибку sqlite3 c++?
- 1 подписчик
- 2 часа назад
- 65 просмотров
3

ответа
Linux

+2 ещё

Простой
Как в io_uring отправить sqe, чтобы sqe выполнилось через 3 секунды после io_uring_submit?
- 1 подписчик
- 4 часа назад
- 24 просмотра
0

ответов
C++

+1 ещё

Сложный
Как правильно запустить SFML-файл в VIsual Studio Code?
- 1 подписчик
- 15 часов назад
- 31 просмотр
1

ответ
C++

+1 ещё

Простой
Возможно ли сделать nested enum c/c++?
- 1 подписчик
- 16 часов назад
- 40 просмотров
1

ответ
C++

Простой
Как инициализировать вложенные массивы?
- 1 подписчик
- 19 часов назад
- 84 просмотра
1

ответ
Ubuntu

+2 ещё

Простой
Как раздать интернет с ПК на ip камеру по локальной сети на Ubuntu 20.04?
- 1 подписчик
- вчера
- 69 просмотров
1

ответ
C++

+1 ещё

Простой
Рекурсивный ввод-вывод последовательности без использования массивов и списоков?
- 2 подписчика
- вчера
- 434 просмотра
1

ответ
C++

+2 ещё

Средний
Как сделать маштабирование относительно центра экрана?
- 1 подписчик
- 18 апр.
- 64 просмотра
0

ответов
C++

Простой
Как составить план по изучению языка C++?
- 1 подписчик
- 18 апр.
- 144 просмотра
2

ответа
C++

+2 ещё

Простой
Как подключить библиотеку TgBot к срр проекту?
- 1 подписчик
- 17 апр.
- 73 просмотра
1

ответ
Показать ещё Загружается…

Разработчик Java Lead

Bell Integrator • Ростов-на-Дону

До 400 000 ₽

Разработчик Java Lead

Bell Integrator • Томск

До 400 000 ₽

Senior Backend Developer Node.js

Radium Finance • Москва

от 300 000 до 400 000 ₽

Разработать чат-бота telegram для миникурса

20 апр. 2024, в 18:09

70000 руб./за проект

Настроить доступ к Netflix

20 апр. 2024, в 18:04

3000 руб./за проект

Помочь настроить GeoIp у nginx для docker nginx:alpine

20 апр. 2024, в 17:55

3000 руб./за проект

почему?
от 0 до 11 имеется ввиду? это учитывается.
WinAx, у вас 12 ядер. Запустили свою программу это уже - 1
осталось "свободных" 11.

Задается путь к видео

Возможно у вас получается 12 процессов обращаются к диску... даже на ssd это очень медленно по сравнению с ОЗУ. Плюс к этому кэш память то же не резиновая.

Для начала попробуйте загрузить все в ОЗУ, что бы к диску не обращаться и разбить данные на 10 (или меньше) потоков, и обрабатывать данные кусками (размер кэша процессора / кол-во потоков)
инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).
диск используется примерно на 30% во время работы.
основная нагрузка идет на процессор, там идет сравнение кадров видео с фото экрана. ресурсоемкая задача.
"все в ОЗУ" - это хорошо если видео не большое. но вообще, никаких ограничений на длину видео быть не должно.
WinAx,
инициализирующий поток не нагружает ни проц, ни диск, ничего. во всяком случае на графиках этого не видно (до 1 процента).
Ну и хорошо, оставьте системе хоть что нибудь. Эти 30% нагрузки отнимают N времени на последовательные операции чтения с диска.
Какой у вас процессор?
перебьется система)) а если серьезно, то ресурсы делятся в зависимости от потребностей потока.
у меня проц. Intel Core i7-8700.
какой будет на сервере не знаю.
WinAx,
https://ark.intel.com/products/126686/Intel-Core-i...

6 ядер, 12 потоков.
6 физических ядер.

Получается, что ваши потоки по 2 на ядро постоянно между собой переключаются отсюда и падение.
Ну еще и кэш засирается.
я знаю!)
и?)
замедляется процесс в 10 раз... примерно
кстати, таже ситуация на сервере.
не знаю какой там процессор, знаю что 8 ядер.
так же однопоточная версия справляется в 10 раз быстрее, примерно
WinAx, сумма факторов.
И https://ru.wikipedia.org/wiki/Кэш
WinAx, что и?
Если знаете, то зачем на одно ядро вешать два потока, которые заведомо будут медленнее, чем один, из-за затрат на переключение контекста между ними(потоками).

12 потоков на 6 физических ядрах это турнир по пинг-понгу.

Вы бы вопрос поправили, указав что процессор 6-и ядерный. А не 12.
Решил оптимизировать добавив разбиение поиска на доступные ядра процессора.
Каждый поток выбирает ядро, инициализирует свой VideoCapture, начинает поиск с определенной позиции и на определенное количество кадров.
Все работает правильно, в моем случае все 12 ядер загружаются на сто процентов в отличии от первой версии которая загружала одно ядро.
а ничего что в системе в основном тысячи потоков. и как то они работают.
или давайте вспомним одноядерные процессоры.
там как то работал WinAmp и Internet Excplorer и еще система не тормозила.
Хотя часто "осел" забирал почти все ресурсы, звук при этом не останавливался.

это все так...
главное! в любом случае, 6 или 12 физ. ядер, процесс не должен замедлятся!

Answer 1 · 2018-12-18 07:28:58

Vladimir S @hePPer

плохой алгоритм или слишком много потоков.

Ответ написан более трёх лет назад

4 комментария

Answer 2 · 2018-12-18 07:37:05

каждое ядро выполняет одну и ту же задачу

попробуйте (если возможно) разделить видео на квадраты по ядрам

Answer 3 · 2018-12-18 08:07:06

Все ответы на сайте нвидиа. Gpu даёт увеличение производительности в 15 раз по сравнению с cpu. Есть ещё какая-то программа, благодаря ей можно и в 17 раз производительнее. Caffe посмотри, сверточную нейронную сеть. Она обрабатывает видео дважды - разреза видео на Горизонтальные полосы на количество ядер, потом на вертикальные. Ссылки не могу дать. Opencv - 1 слой распознавания. Сверточная нейронная сеть - от восьми.

Answer 4 · 2018-12-18 08:22:54

Александр Таратин @Taraflex

Ищу работу. Контакты в профиле.

Попробуйте на этапе сборки opencv отключить поддержку OpenCL и CUDA.

Ответ написан более трёх лет назад

1 комментарий

Answer 5 · 2018-12-19 09:11:43

Файл лежит на диске, в случае одно поточной программы вы последовательно, байт за байтом, читаете файл.
В случае многопоточной, диск вынужден головкой крутить туда и сюда, т.е. время доступа к данным увеличивается.
Т.о. диск может быть узким местом для вашей системы. То что показывает загрузку 100% для процессоров - это ни о чем не говорит.

Второй вариант: внутри OpenCV возможно есть какой-то разделяемый ресурс, который не может быть использован одновременно всеми потоками. Т.о. возможно (я не специалист), достаточно скомпилировать OpenCV с поддержкой многопоточности.

OpenCV многопоточный поиск в видео?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт