計算グラフ: シグモイド関数

numpyを前提にしたとき、シグモイド関数は成分表記で次のようになる。

y_{i,j} = \frac{1}{1 + \exp(-x_{i, j})}

numpyの動きを確認するのに、次のコードを実行してみる。

x = np.array([
    [1, 2, 3],
    [4, 5, 6],
], dtype='f')
y = 1. / (1 + x)
np.all(y == np.array([
    [1 / 2, 1 / 3, 1 / 4],
    [1 / 5, 1 / 6, 1 / 7],
], dtype='f')) # => True

ということでxが行列の場合はスカラの場合と変わらない。以降の計算では結果に影響しないのでインデックスの足は書かない。

nabeyang

\begin{aligned} y &= \frac{1}{1 + \exp(-x)}\\ t &= 1 + \exp(-x) \end{aligned}

nabeyang

\begin{aligned} \frac{\partial y}{\partial t} &= \frac{\partial }{\partial t}\left(\frac{1}{t}\right)\\ &= - \frac{1}{t^{2}}\\ &= - y^{2} \end{aligned}

nabeyang

\begin{aligned} \frac{\partial t}{\partial x} &= \frac{\partial}{\partial x}\left(1 + \exp( - x)\right)\\ &= - \exp(-x)\\ &= - (1 + \exp(-x)) + 1\\ &= 1 - t\\ &= 1 - \frac{1}{y}\\ &= -\frac{1 - y}{y} \end{aligned}

nabeyang

\begin{aligned} \frac{\partial y}{\partial x} &= \frac{\partial t}{\partial x} \frac{\partial y}{\partial t}\\ &= - \frac{1 - y}{y} \cdot -y^{2}\\ &= y(1 - y) \end{aligned}

nabeyang

このスクラップは2021/03/10にクローズされました