33. 精读《30行js代码创建神经网络》

黄子毅

发布于 2022-03-14 15:57:42

4480

发布于 2022-03-14 15:57:42

文章被收录于专栏：前端精读评论

本期精读的文章是：30行js代码创建神经网络。

懒得看文章？没关系，稍后会附上文章内容概述，同时，更希望能通过阅读这一期的精读，穿插着深入阅读原文。

1 引言

自从Alpha Go 打败了李世石，大家对深度学习的体感更加的强烈，人工智能也越来越多的出现在大家的生活之中。很多人也会谈论，程序员什么时候会被人工智能给替代？与其慌张，在人工智能的潮流下，不断学习新的人工智能相关技术，武装自己，才是硬道理。本文介绍了如何使用Synaptic.js 创建简单的神经网络，解决异或运算的问题。

2 内容概要

神经网络中的神经元和突触

对神经网络有所了解的人都知道，神经网络就是构建类似人脑的神经系统，在人脑的神经系统中，存在一种非常重要的细胞，叫神经元。在神经网络中，你可以把神经元理解为一个函数，它接受一些输入返回一些输出结果，其中Sigmoid神经元是一种非常常用的神经元，这种神经元以 Sigmoid 函数作为激活函数。Sigmoid 函数接受任意的数值，输出 0 到 1 之间的值，大家可以看看常见的几种 Sigmoid 函数的函数曲线。

知道了 Sigmoid 函数了，我们可以看一个具体的 Sigmoid神经元例子。

在这个例子中 7 和 3 是权重参数，-2 是偏差，最左边的 1 和 0 是输入层中的两个节点，通过如下的计算，得到了一个隐藏层节点 5。

然后将节点 5 输入到一个 Sigmoid 函数，得到一个输出层节点 1。

如何构建神经网络

有了神经元，将所有的神经元连接起来，就构建了一个神经网络。如下图，神经元间的箭头，可以理解为是一种 "突触"。

完成神经网络的构建了，你可以用来识别手写数字、垃圾邮件判断等众多领域。当然就像上面的例子，好的模型依赖于正确的权重和偏差的选择。在实际工作中，每次完成神经网络的训练，我们都会拿训练的结果来对测试样式进行预测，得到算法的准确率，然后尝试选择更好的权重和偏差，期望达到更好的准确度，这个学习的过程称为反向传播。通过大量的学习后，最终才会得到更好的预测准确率。

代码实现

下面附上代码的实现。

const { Layer, Network } = window.synaptic;
var inputLayer = new Layer(2);
var hiddenLayer = new Layer(3);
var outputLayer = new Layer(1);

inputLayer.project(hiddenLayer);
hiddenLayer.project(outputLayer);
var myNetwork = new Network({
 input: inputLayer,
 hidden: [hiddenLayer],
 output: outputLayer
});

// train the network - learn XOR
var learningRate = .3;
for (var i = 0; i < 20000; i++) {
  // 0,0 => 0
  myNetwork.activate([0,0]);
  myNetwork.propagate(learningRate, [0]);
  // 0,1 => 1
  myNetwork.activate([0,1]);
  myNetwork.propagate(learningRate, [1]);
  // 1,0 => 1
  myNetwork.activate([1,0]);
  myNetwork.propagate(learningRate, [1]);
  // 1,1 => 0
  myNetwork.activate([1,1]);
  myNetwork.propagate(learningRate, [0]);
}

简单而言，运行 myNetwork.activate([0,0]) 时，[0, 0]是输入值，它对应的异或运算的结果是false, 也就是 0。这个是前向的传播，所以称为激活网络，每次前向传播之后，我们需要做一次反向传播来更新权重和偏差。

反向传播就是通过这行代码来做的： myNetwork.propagate(learningRate, [0])，其中 learningRate 是告诉神经网络如何调整权重的常量，第二个参数 [0]是异或运算的结果。

经过20000次学习，我们得到如下的结果:

console.log(myNetwork.activate([0,0])); 
-> [0.015020775950893527]
console.log(myNetwork.activate([0,1]));
->[0.9815816381088985]
console.log(myNetwork.activate([1,0]));
-> [0.9871822457132193]
console.log(myNetwork.activate([1,1]));
-> [0.012950087641929467]

对运算结果取最近的整数，我们就可以得到正确异或运算的结果。