TensorFlow实现XOR
原创TensorFlow实现XOR
原创
Fonxian666
修改于 2018-11-19 10:28:03
修改于 2018-11-19 10:28:03
一、TensorFlow基础
1、概念
- TF使用图表示计算任务，图包括数据（Data）、流（Flow）、图（Graph）
- 图中节点称为op，一个op获得多个Tensor
- Tensor为张量，TF中用到的数据都是Tensor
- 图必须在
会话中启动
示例
计算两个矩阵的乘积，
x = tf.constant([1.0,2.0,3.0,1.0,2.0,3.0,1.0,2.0,3.0])
y = tf.constant([0,0,1.0,0,0,1.0,0,0,1.0])
z = tf.matmul(x3,y3)
# Session激活z,得到计算结果
with tf.Session() as sess:
print(sess.run(z))2、Tensor类型
（1）常量
值不可变
constant(
value,(数值)
dtype=None,(数据类型)
shape=None,(指定形状)
name='Const',(命名)
verify_shape=False()) 代码
x = tf.constant(1.0,2.0,3.0,1.0,2.0,3.0,1.0,2.0,3.0,dtype=tf.float32,shape=3,3,name='x')
# 简写
x = tf.constant(1.0,2.0,3.0,1.0,2.0,3.0,1.0,2.0,3.0)（2）变量
代码
v2=tf.Variable(tf.constant(2),name='x') （3）占位符
定义过程，执行时赋值
placeholder(
value,(数值)
dtype=None,(数据类型)
shape=None,(指定形状))代码
x = tf.placeholder(tf.float32)
y = tf.placeholder(tf.float32)
z = tf.multiply(x, y)
with tf.Session() as sess:
print(sess.run(z, feed_dict={x:1.0 , y: 2.0}))
（4）平均值
计算张量的各个维度上的元素的平均值。
reduce_mean( input_tensor, axis=None, keep_dims=False, name=None, reduction_indices=None)代码
x = tf.constant(1.0,2.0,3.0,4.0,dtype=tf.float32,shape=2,2)
tf.reduce_mean(x) ==> 2.5
tf.reduce_mean(x, 0) ==> 2. 3.
tf.reduce\_mean(x, 1) ==> 1.5 3.5(5) 优化器
tf.train.GradientDescentOptimizer是实现梯度下降算法的优化器。
二、机器学习、深度学习概念
1、代价函数
整个训练集上所有样本误差的平均。
2、目标函数
经过优化后，期望获得的函数。
3、激活函数
负责将神经元的输入映射到输出端。增加神经网络模型的非线性。
4、学习率
学习率决定参数移动到最优值的速度快慢。学习率过大，会越过最优值。学习率过小，优化效率低。
5、前向传播（Forward Propagation）
第n层神经元的值决定第n+1层神经元的值。
三、TensorBoard与计算图可视化
TensorBoard是一个可视化工具，能够有效地展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。
代码
writer = tf.summary.FileWriter('graphs',tf.get_default_graph())
writer.close()打开图，输入命令
zhijiefang@fangzhijie-PC:~/test$ tensorboard --logdir=graphs
TensorBoard 1.11.0 at http://fangzhijie-PC:6006 (Press CTRL+C to quit)计算图显示
image.png
四、代码实现
import numpy as np
import tensorflow as tf
# 训练样本占位
data = tf.placeholder(tf.float32, shape=(4, 2))
label = tf.placeholder(tf.float32, shape=(4, 1))
with tf.variable_scope('layer1') as scope:
# 权重
weight = tf.get_variable(name='weight', shape=(2, 2))
# 偏置项
bias = tf.get_variable(name='bias', shape=(2,))
x = tf.nn.sigmoid(tf.matmul(data, weight) + bias)
with tf.variable_scope('layer2') as scope:
weight = tf.get_variable(name='weight', shape=(2, 1))
bias = tf.get_variable(name='bias', shape=(1,))
x = tf.matmul(x, weight) + bias
# 激活函数
preds = tf.nn.sigmoid(x)
# 损失函数
loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=label, logits=x))
# 学习率占位
learning_rate = tf.placeholder(tf.float32)
# 梯度下降优化器
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
# 训练样本
train_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
train_label = np.array([[0], [1], [1], [0]])
# 执行
with tf.Session() as sess:
# 初始化变量
sess.run(tf.global_variables_initializer())
for step in range(10000):
if step < 3000:
lr = 1
elif step < 6000:
lr = 0.1
else:
lr = 0.01
_, l, pred = sess.run([optimizer, loss, preds], feed_dict={data: train_data, label: train_label, learning_rate: lr})
if step % 500:
print('Step: {} -> Loss: {} -> Predictions: {}'.format(step, l, pred))五、运行结果
...
Step: 9993 -> Loss: 0.3484194874763489 -> Predictions: [[0.00179099]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9994 -> Loss: 0.3484194874763489 -> Predictions: [[0.00179098]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9995 -> Loss: 0.3484194874763489 -> Predictions: [[0.00179098]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9996 -> Loss: 0.3484194874763489 -> Predictions: [[0.00179097]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9997 -> Loss: 0.3484194576740265 -> Predictions: [[0.00179096]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9998 -> Loss: 0.3484194278717041 -> Predictions: [[0.00179096]
[0.49935436]
[0.9978059 ]
[0.50105 ]]
Step: 9999 -> Loss: 0.3484194278717041 -> Predictions: [[0.00179095]
[0.49935436]
[0.9978059 ]
[0.50104994]]原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读