机器学习100天-Day8Tensorflow新手教程4

在教程中，我们将创建一个线性SVM来分离数据。用于此代码的数据是线性可分的。

线性支持向量机

关于支持向量机，建议看一下这个博文支持向量机通俗导论（理解SVM的三层境界）

SVM的应用领域很广，分类、回归、密度估计、聚类等，但我觉得最成功的还是在分类这一块。

用于分类问题时，SVM可供选择的参数并不多，惩罚参数C，核函数及其参数选择。对于一个应用，是选择线性核，还是多项式核，还是高斯核？还是有一些规则的。

在实际应用中，多数情况是特征维数非常高。如OCR中的汉字识别，提取8方向梯度直方图特征，归一化的字符被等分成88的网格，每个网格计算出长度为8的方向直方图，特征维数是88*8 = 512维。在这样的高维空间中，想把两个字符类分开，用线性SVM是轻而易举的事，当然用其它核也能把它们分开。那为什么要选择线性核，因为，线性核有两个非常大的优点：

预测函数简单f(x) = w’*x+b，分类速度快。对于类别多的问题，分类速度的确需要考虑到，线性分类器的w可以事先计算出来，而非线性分类器在高维空间时支持向量数会非常多，分类速度远低于线性分类器。

线性SVM的推广性有保证，而非线性如高斯核有可能过学习。再举个例子，基于人脸的性别识别，即给定人脸图像，判断这个人是男还是女。我们提取了3700多维的特征，用线性SVM就能在测试集上达到96%的识别正确率。因此，线性SVM是实际应用最多的，实用价值最大的。

如果在你的应用中，特征维数特别低，样本数远超过特征维数，则选用非线性核如高斯核是比较合理的。

如果两类有较多重叠，则非线性SVM的支持向量特别多，选择稀疏的非线性SVM会是一个更好的方案，支持向量少分类速度更快，如下图。

引入相关库

import matplotlib.pyplot as plt

import numpy as np

import tensorflow as tf

from sklearn import datasets

import random

import sys

关键的FLAGS，在用命令行执行程序时，需要传的关键参数

batch_size:32

num_steps:500

C_param:0.1

Reg_param:1.0

delta:1.0

initial_learning_rate:0.1

所需方法

loss_fn

inference_fn

next_batch_fn

这里用到一些tensorflow常用算数操作

可以看一下这两个博客TensorFlow变量常用操作；tensorflow之算术运算符

这里出现的几个api注解

substract：减法操作。

multiply: 乘法操作。

transpose: 转置操作。tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的，如果输入张量是二维，就相当是转置。dimension_n是整数，如果张量是三维，就是用0,1,2来表示。这个列表里的每个数对应相应的维度。如果是[2,1,0]，就把输入张量的第三维度和第一维度交换。

数据操作，操作iris鲜花数据库

只使用前两个特征，[:,:2]获取所有行，每一行前两列

生成占位符

计算损失函数和正确率

训练线性支持向量机

可视化操作