在教程中,我们将创建一个线性SVM来分离数据。用于此代码的数据是线性可分的。
线性支持向量机
关于支持向量机,建议看一下这个博文支持向量机通俗导论(理解SVM的三层境界)
SVM的应用领域很广,分类、回归、密度估计、聚类等,但我觉得最成功的还是在分类这一块。
用于分类问题时,SVM可供选择的参数并不多,惩罚参数C,核函数及其参数选择。对于一个应用,是选择线性核,还是多项式核,还是高斯核?还是有一些规则的。
在实际应用中,多数情况是特征维数非常高。如OCR中的汉字识别,提取8方向梯度直方图特征,归一化的字符被等分成88的网格,每个网格计算出长度为8的方向直方图,特征维数是88*8 = 512维。在这样的高维空间中,想把两个字符类分开,用线性SVM是轻而易举的事,当然用其它核也能把它们分开。那为什么要选择线性核,因为,线性核有两个非常大的优点:
预测函数简单f(x) = w’*x+b,分类速度快。对于类别多的问题,分类速度的确需要考虑到,线性分类器的w可以事先计算出来,而非线性分类器在高维空间时支持向量数会非常多,分类速度远低于线性分类器。
线性SVM的推广性有保证,而非线性如高斯核有可能过学习。再举个例子,基于人脸的性别识别,即给定人脸图像,判断这个人是男还是女。我们提取了3700多维的特征,用线性SVM就能在测试集上达到96%的识别正确率。因此,线性SVM是实际应用最多的,实用价值最大的。
如果在你的应用中,特征维数特别低,样本数远超过特征维数,则选用非线性核如高斯核是比较合理的。
如果两类有较多重叠,则非线性SVM的支持向量特别多,选择稀疏的非线性SVM会是一个更好的方案,支持向量少分类速度更快,如下图。
引入相关库
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from sklearn import datasets
import random
import sys
关键的FLAGS,在用命令行执行程序时,需要传的关键参数
batch_size:32
num_steps:500
C_param:0.1
Reg_param:1.0
delta:1.0
initial_learning_rate:0.1
所需方法
loss_fn
inference_fn
next_batch_fn
这里用到一些tensorflow常用算数操作
可以看一下这两个博客TensorFlow变量常用操作;tensorflow之算术运算符
这里出现的几个api注解
substract:减法操作。
multiply: 乘法操作。
transpose: 转置操作。tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的,如果输入张量是二维,就相当是转置。dimension_n是整数,如果张量是三维,就是用0,1,2来表示。这个列表里的每个数对应相应的维度。如果是[2,1,0],就把输入张量的第三维度和第一维度交换。
数据操作,操作iris鲜花数据库
只使用前两个特征,[:,:2]获取所有行,每一行前两列
生成占位符
计算损失函数和正确率
训练线性支持向量机
可视化操作
领取专属 10元无门槛券
私享最新 技术干货