线性支持向量机是针对线性不可分的数据集的,这样的数据集可以通过近似可分的方法实现分类。对于这样的数据集,类似线性可分支持向量机,通过求解对应的凸二次规划问题,也同样求得分离超平面
以及相应的分类决策函数
与博文“简单易学的机器学习算法——线性可分支持向量机”实验一样,其中
取
中的最大值。
MATLAB代码为
%% 线性支持向量机
% 清空内存
clear all;
clc;
%简单的测试数据集
X = [3,3;4,3;1,1];
y = [1,1,-1];%标签
A = [X,y'];
m = size(A);%得到训练数据的大小
% 区分开特征与标签
X = A(:,1:2);
Y = A(:,m(1,2))';
for i = 1:m(1,1)
X(i,:) = X(i,:)*Y(1,i);
end
%% 对偶问题,用二次规划来求解
H = X*X';
f = ones(m(1,1),1)*(-1);
B = Y;
b = 0;
lb = zeros(m(1,1),1);
% 调用二次规划的函数
[x,fval,exitflag,output,lambda] = quadprog(H,f,[],[],B,b,lb);
% 定义C
C = max(x);
% 求原问题的解
n = size(x);
w = x' * X;
k = 1;
for i = 1:n(1,1)
if x(i,1) > 0 && x(i,1)<C
b(k,1) = Y(1,i)-w*X(i,:)'*Y(1,i);
k = k +1;
end
end
b = mean(b);
% 求出分离超平面
y_1 = [0,4];
for i = 1:2
y_2(1,i) = (-b-w(1,1)*y_1(1,i))./w(1,2);
end
hold on
plot(y_1,y_2);
for i = 1:m(1,1)
if A(i,m(1,2)) == -1
plot(A(i,1),A(i,2),'og');
elseif A(i,m(1,2)) == 1
plot(A(i,1),A(i,2),'+r')
end
end
axis([0,7,0,7])
hold off
实验结果为:
(线性可分问题的分离超平面)
问题为:
(线性不可分问题)
MATLAB代码:
%% 线性支持向量机
% 清空内存
clear all;
clc;
% 导入测试数据
A = load('testSet.txt');
% 处理数据的标签
m = size(A);%得到训练数据的大小
for i = 1:m(1,1)
A(i,m(1,2)) = A(i,m(1,2))*2-1;
end
% 区分开特征与标签
X = A(:,1:2);
Y = A(:,m(1,2))';
for i = 1:m(1,1)
X(i,:) = X(i,:)*Y(1,i);
end
%% 对偶问题,用二次规划来求解
H = X*X';
f = ones(m(1,1),1)*(-1);
B = Y;
b = 0;
lb = zeros(m(1,1),1);
% 调用二次规划的函数
[x,fval,exitflag,output,lambda] = quadprog(H,f,[],[],B,b,lb);
% 定义C
% C = mean(x);
C = max(x);
% 求原问题的解
n = size(x);
w = x' * X;
k = 1;
for i = 1:n(1,1)
if x(i,1) > 0 && x(i,1)<C
b(k,1) = Y(1,i)-w*X(i,:)'*Y(1,i);
k = k +1;
end
end
b = mean(b);
% 求出分离超平面
y_1 = [-4,4];
for i = 1:2
y_2(1,i) = (-b-w(1,1)*y_1(1,i))./w(1,2);
end
hold on
plot(y_1,y_2);
for i = 1:m(1,1)
if A(i,m(1,2)) == -1
plot(A(i,1),A(i,2),'og');
elseif A(i,m(1,2)) == 1
plot(A(i,1),A(i,2),'+r')
end
end
hold off
实验结果为:
(线性不可分问题的分离超平面)
注:这里的
的取值很重要,
的取值将决定分类结果的准确性。