@qovalenko

Как получают два вида производной, на примере сигмоида?

Найдем производную функции
dC-sSEyML_A.jpg

f(x) = 1 / (1 + e^(-x))
и я видел, что его производная
dy/dx = f(x)' = f(x) * (1 - f(x))
Производная так считают в машинном обучении
Где подробно изучить эту тему, помогите понять второй вид производной.
Спасибо!
  • Вопрос задан
  • 6593 просмотра
Решения вопроса 2
zagayevskiy
@zagayevskiy
Android developer at Yandex
Производная частного равна разности произведения производной числителя на знаменатель и произведения числителя на производную знаменателя, деленной на квадрат знаменателя.

(1/(1 + е^-х))'
= (1' * (1 + е^-х) - 1 * (1 + е^-х)')/(1 + е^-х)^2 #по формуле производной частного
=( 0 * (...) - 1' + (е^-х)' )/(1 + е^-х)^2 #по формуле производной суммы
= (- e^-x * (-x)')/(1 + е^-х)^2 #по формуле производной экспоненты
= (e^-x)/(1 + е^-х)^2

Дальше
f(x) = 1/(1 + е^-х)
(e^-x)/(1 + е^-х)^2
= (e^-x)/(1 + е^-х) * 1/(1 + е^-х)
= (e^-x)/(1 + е^-х) * f(x)
= (-1 + 1 + e^-x) / (1 + e^-x) * f(x)
= (-1 + (1 + e^-x)) / (1 + e^-x) * f(x)
= ((-1 / (1 + e^-x) + (1 + e^-x)/(1 + e^-x)) * f(x)
= (1 - (1/(1 + e^-x))) * f(x)
= (1 - f(x)) * f(x)

То есть это никакой не "другой способ вычисления производной в МЛ", это просто преобразования производной этой конкретной функции.

Подробнее изучить в учебнике по математике за 8-11 класс.
Ответ написан
sgjurano
@sgjurano
Разработчик
Это обычная производная сложной функции, почитайте вот эту статью и следующие за ней, чтобы научиться работать с производными, это вам в любом случае пригодится.

https://mathprofi.net/kak_naiti_proizvodnuju.html

Вот ответ на вторую часть вашего вопроса:
https://towardsdatascience.com/derivative-of-the-s...

Просто эквивалентные преобразования, не более.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы