sigmoid函数

激活函数:sigmoid表达式

$$
h(x) = \frac{1}{1 + exp(-x)}
$$

e为纳皮尔常数2.71

import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np

x = np.arange(-5.0,5.0,0.1)
def sigmoid(x):
    return 1/(1+np.exp(-x))
y = sigmoid(x)
plt.plot(x,y)
plt.show()

sigmoid同阶跃函数相比较

sigmoid是一条平滑的曲线,对神经网络学习有着重要意义,且返回的是流动的实数信号

ReLU函数

$$
h(x)=
\begin{cases}
x (x>0) \\
0 (x\le0)
\end{cases}
$$

import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np

x = np.arange(-5.0,5.0,0.1)
def relu(x):
    return np.maximum(0,x)
y = relu(x)
plt.plot(x,y)
plt.show()

relu函数是一个非常简单的函数,maximum会选择较大的值进行输出

Last modification:November 8th, 2020 at 04:16 am
如果觉得我的文章对你有用,请随意赞赏