活性化関数(シグモイド,ソフトマックス,ReLU,恒等関数)

###title
シグモイド関数
###center
(xが入力値、yが出力値)
a=1(img://1/178m)

###center
a=0.5(img://1/195s)
a=100(img://1/194s)

###math center
(数式)
f(x) = ￥frac{1}{1+e^{-ax}} ￥ ￥ (a>0)

###source
(python)
import matplotlib.pyplot as plt
import numpy as np
import math

a = 1
x = np.arange(-5, 5, 0.1)
e = math.e

y = 1 / (1 + e**(-x*a))

plt.plot(x, y)
plt.show()

###title
ソフトマックス関数
###center
(img://1/197m)
###source
import matplotlib.pyplot as plt
import numpy as np
import math

x = np.arange(-5, 5, 0.1)
a = np.exp(x)
sum = np.sum(a)
y = a / sum
plt.plot(x, y)
plt.show()

###title
ReLU関数(ランプ関数)
###
入力値が0以下のとき出力値=0。0より大きい場合は出力値=入力値。
###center
(img://1/193m)
###source
import numpy as np
import matplotlib.pylab as plt

x = np.arange(-5.0, 5.0, 0.1)
y = np.maximum(0, x)
plt.plot(x, y)
plt.show()

###

###center
ちなみに、エッジ検出なんかでも、#*#"ランプ"エッジや#*#"ステップ"エッジと言ったりします。
(img://1/203s)

###title
ステップ関数
###memo
入力値が0以下のとき出力値=0。0より大きい場合は出力値=1。

###center
(img://1/198m)
###source
import matplotlib.pyplot as plt
import numpy as np
import math

x = np.arange(-5.0, 5.0, 0.1)
print(x)
y = x > 0
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()

###title
恒等関数

###memo
入力値=出力値。
###center
(img://1/196m)
###source
import matplotlib.pyplot as plt
import numpy as np
import math

x = np.arange(-5, 5, 0.1)
y = x
plt.plot(x, y)
plt.show()

###

wakatta 記法