@Deathgar

Что такое обратная функция активации(inverse activation function)?

Наткнулся на вот эту статейку. В этой статейке, под рисунком нейронной сети есть таких два обзаца:

It’s more chaotic than a traditional neural network due to the sparse connectivity and skip connections, but it is more explainable since the activation functions and structure have been explicitly optimised.

The most striking feature of the network is the x parameter (position of the cart) has an almost direct line to the output node, which calculates force, intercepted only by a single hidden neuron with an inverse activation function. This line has the effect of providing a force towards the center of the screen regardless of the sign of the shared weight value: the network has learned how to get the cart to the center in a weight-agnostic way.


Не могу найти никакой информации об этой обратной функции активации(inverse activation function). Мб есть у кого ссылка на неё или сама формула? Или что это вообще за функция активации такая?
  • Вопрос задан
  • 248 просмотров
Пригласить эксперта
Ответы на вопрос 1
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Тут 7-я страница.
Отрывок из PDF
Если y=f(x)— функция активации для прямых сигналов, то ее обратная функция — x=g(y). Для логистической функции нахождение обратной функции сводится к простой алгебре:y = 1/(1 + e-x)1 + e-x = 1/ye-x = (1/y)-1 = (1-y)/y-x = ln[(1-y)/y]x = ln[y/(1-y)]Эта функция называется logit, и библиотека Python scipy.special предоставляет ее как scipy.special.logit(), точно так же, как и логистическую функцию scipy.special.expit().

Берём любую из этих и выражаем X. Это будет обратная функция к той, что взяли.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы