Taras_Serevann
@Taras_Serevann
веб-разработчик, автор

Почему неправильная производная работает лучше?

Здравствуйте! Пиши многослойный персептрон с обратным распространением ошибки по этому туториалу

Там используется логистическая функция и её производная
def nonlin(self, x, deriv=False):
        if (deriv == True):
            return x * (1 - x)
        return 1 / (1 + np.exp(-x))

и получается что производная это x * (1 - x), но судя по гуглу, производная логистической фукнции df'(x) = f(x) * (1 - f(x)), а не df'(x)= x * (1 - x). Тем не менее, когда я исправляю в коде вычисление производной на правильный вариант, точность предсказания нейросети значительно падает.

Почему?
  • Вопрос задан
  • 221 просмотр
Решения вопроса 1
@ivodopyanov
NLP, python, numpy, tensorflow
Потому что при вычислении производной на вход nonlin подается не вход этого слоя, а уже вычисленный ранее выход.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы