第九篇：《机器学习之神经网络（实战篇）》

import numpy as np           # 导入Numpy库（矩阵运算）

def sigmoid(x):              # Sigmoid函数（激活函数）
    return 1/(1+np.exp(-x))

def sigmoid_(x):             # Sigmoid导数（Sigmoid的偏微分）（反向传播）
    return x*(1-x)

X = np.array([[0,0,1],       # 样本特征值（神经网络的输入值）
              [0,1,1],
              [1,0,1],
              [1,1,1]])

y = np.array([[1],           # 样本结果值（神经网络要拟合的值）
              [0],
              [1],
              [0]])


# 随机初始化对于神经网络来说至关重要！
theta0 = 2*np.random.random((3,4)) - 1       # （随机初始化）第一层到第二层的 权重
theta1 = 2*np.random.random((4,1)) - 1       # （随机初始化）第二层到第三层的 权重


for i in range(50000):                       # 反复模型训练，调整参数

    a0=X                                     # 第一层输入样本的特征

    a1=sigmoid(np.dot(a0,theta0))            # 前向传播得到第二层

    a2=sigmoid(np.dot(a1,theta1))            # 前向传播得到第三层

    a2_error=y-a2                            # 计算输出层误差

    a2_delta=a2_error*sigmoid_(a2)           # 反向传播计算

    a1_error=a2_delta.dot(theta1.T)          # 反向传播计算

    a1_delta=a1_error*sigmoid_(a1)           # 反向传播计算

    theta1+=a1.T.dot(a2_delta)               # 更新 权重
    theta0+=a0.T.dot(a1_delta)               # 更新 权重

    if (i% 10000 == 0):
        print ("\n第"+str(i)+"次训练的误差：")
        print (abs(a2_error))
        print ("权重")
        print (theta0)
        print (theta1)