0% успешной классификации на обучающей выборке при обучении DBN — это нормально?
Пытаюсь обучить deep belief network (4 слоя, 500 нейронов -> 500 нейронов -> 500 нейронов -> 250 нейронов)
Первый этап - обучение RBM - вроде проходит успешно. После 20 итераций ошибки не превышают 0.005
Запускаю "допиливание" при помощи backprop - получаю 0% успешных классификаций и большую ошибку. Они, конечно, меняются в лучшую сторону в ходе обучения, но все же - это нормально? Из лекций, по которым разбирался в алгоритме, у меня составилось впечатление, что задача первого этапа именно в том, чтобы подобрать веса так, чтобы минимум был недалеко.
Сам нашел у себя ошибку. Я использовал библиотеку darch и делал так, как было в у них примере. А там в качестве функции активации для backpropagation использовалась сигмоидная функция. А в моем же случае надо было softmax.
Простой
