Внутри нейронной сети нужна синхронизация по слоям?
Т.е. стопорить обработку данных на следующем слое, пока не отработали все нейроны предыдущего. Ведь входные данные не поступают сразу на все входы, а заносятся в цикле последовательно.
Если ты умножаешь в столбик последовательно обсчитываешь слой за слоем - нет такой проблемы.
Если ты обсчитываешь параллельно, например на GPU - тогда да, производится синхронизация аппаратно, средствами GPU.
Простой
