Почему нейронная сеть обучается на каждом тренировочном сете, но когда пытаюсь обучить на всех сетах одновременно, ошибка не уменьшается?

Вообще, если построить график, то можно заметить, что в какой то момент сеть перестает обучаться и наступает эффект переобучения.
Побороть переобучение полностью невозможно, но можно сделать так, чтобы оно наступало позже.
1) Использовать регуляризацию (L1, L2)
2) Dropout (прореживание)
3) Если работаете с изображениями, то их в генераторе можно переворачивать, создавать белый пиксель и т.п