0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

支持向量机寻找的最优分类直线应满足哪些条件?

RG15206629988 来源:行业学习与研究 2023-05-08 10:55 次阅读

支持向量机寻找的最优分类直线应满足如下条件:

(1)该直线可将训练数据完全分为两类。

(2)该直线可最大化间隔。

(3)该直线处于间隔的中间,其与所有支持向量(任意一条可将训练样本完全分类的直线分别向两侧被平行移动时,最先穿过的一个或几个训练样本)的距离相等。

69b632ec-ec67-11ed-90ce-dac502259ad0.png

图片来源:中国慕课大学《机器学习概论》

可推出支持向量机寻找最优分类超平面(超平面是将三维以上特征空间的训练数据分割为不同类别的“图形”)应满足如下条件:

(1)该超平面可将训练数据完全分为两类。

(2)该超平面可最大化间隔。

(3)该超平面处于间隔的中间,其与所有支持向量的距离相等。

下文介绍通过数学方法,将支持向量机寻找线性可分训练数据集的最优分类超平面的过程,描述为最优化问题。

回顾线性可分的定义:训练样本集 {(Xi,yi)}在i=1~N线性可分是指存在ω和b(Xi=[xi1,xi2,…,xin],ω=[ω1,ω2,…,ωn]T),使得对 i=1~N,有:

若yi=+1,则ωTXi+b>0;

若yi=-1,则ωTXi+b<0。

同时,基于以下两个事实:

事实1:ωTx+b=0与(aωTx)+(ab)=0是同一个超平面(a≠0)。(此事实可基于二维特征空间的情况理解,当a≠0时,二维特征空间中,ωx+b=0与aωx+ab=0是同一条直线)

事实2:一个点X0到超平面ωTx+b=0的距离d的公式为:d=|ωTX0+b|/||ω||,其中||ω||2=ω12+ω22…+ωn2。(此事实也可基于二维特征空间的情况理解,二维特征空间中,一个点(x0,y0)到ω1x0+ω2y0+b=0的距离为:d=|ω1x0+ω2y0+b|/√(ω12+ω22),√代表根号)

因为ωTx+b=0与(aωTx)+(ab)=0是同一个超平面,所以可以通过缩放(即直线方程两端均乘以相同系数),使得ωTx+b在支持向量x0上有|ωTx0+b|=1(根据线性可分的定义,支持向量x0上有|ωTx0+b|>0,假设|ωTx0+b|=0.5,那么可以通过将该方程两端均乘以2缩放为|ωTx0+b|=1,其他情况均可以此类推)。

那么,根据事实2,支持向量x0到超平面的距离d=|ωTx0+b|/||ω||=1/||ω||。因此,最大化支持向量至超平面的距离(即最大化超平面的间隔)等价于最小化||ω||。

69e4d94e-ec67-11ed-90ce-dac502259ad0.jpg

图片来源:来自网络

因此,支持向量机寻找线性可分训练数据集的最优分类超平面的过程可描述为最小化1/2||ω||2(最小化1/2||ω||2即可使||ω||最小化)的最优化问题。

又因为非支持向量与超平面的距离大于支持向量与超平面的距离,所以非支持向量与超平面的距离d>1/||ω||,即在非支持向量x0上有|ωTx0+b|>1。

综合支持向量与非支持向量距离取值,可得出支持向量机寻找线性可分训练数据集的最优分类超平面的限制条件:yi(ωTXi+b)≥1,i=1~N。

综上,在线性可分情况下,支持向量机寻找最佳超平面的优化问题可以表示为 :

最小化:1/2||ω||2,

限制条件:yi(ωTXi+b)≥1,i=1~N。

上述优化问题中,ω和b为待求量,(Xi,yi),i=1~N为已知量。该优化问题属于凸优化问题(CONVEX OPTIMIZATION)。当一个问题转化为凸优化问题时,该问题可使用机器学习算法的工具包求解。

6a086fd0-ec67-11ed-90ce-dac502259ad0.jpg

图片来源:来自网络





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 向量机
    +关注

    关注

    0

    文章

    166

    浏览量

    20875
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132601

原文标题:机器学习相关介绍(8)——支持向量机(优化问题)

文章出处:【微信号:行业学习与研究,微信公众号:行业学习与研究】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于支持向量分类问题

    小菜鸟一枚 ,有哪位大神能提供部分基于支持向量积的分类鉴别问题的MATLAB编码,思路过程,不胜感激
    发表于 04-03 18:54

    支持向量——机器学习中的杀手级武器!

    一条直线将它们分开呢?显然是可以的,而且满足这一条件直线也显然不止一条。这类问题在模式识别领域称为线性可分问题。支持
    发表于 08-24 09:40

    如何用支持向量分类器识别手写字体

    sklearn实例-用支持向量分类器(SVC)识别手写字体
    发表于 06-11 17:02

    基于多分类支持向量的隐写域盲检测

    提出一种区分隐写域(包括像素域、DCT域、DWT域)的盲检测方法,构造图像特征向量,建立一个多分类支持向量,根据特征
    发表于 04-20 09:32 14次下载

    特征加权支持向量

    该文针对现有的加权支持向量(WSVM)和模糊支持向量(FSVM)只考虑样本重要性而没有考虑特
    发表于 11-21 11:15 15次下载

    组合核函数多支持向量直线电机建模

    组合核函数多支持向量直线电机建模_赵吉文
    发表于 01-07 17:16 1次下载

    分类孪生支持向量研究进展

    孪生支持向量因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的。不能直接用于解决现实生活中普遍存在的多
    发表于 12-19 11:32 0次下载

    支持向量的故障预测模型

    算法优化支持向量参数,解决了蚁群算法易陷入局部最优的问题;然后,根据最优参数建立拟合监测数据和未来健康度下降过程非线性映射关系的和声蚁群算
    发表于 12-29 11:24 0次下载

    多核学习支持向量应用音乐流派自动分类

    针对不同特征向量下选择最优核函数的学习方法问题,将多核学习支持向量( MK-SVM)应用于音乐流派自动
    发表于 01-09 15:25 2次下载
    多核学习<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>应用音乐流派自动<b class='flag-5'>分类</b>

    基于支持向量的噪声分类与补偿

    是要尽量降低或消除此类不匹配的影响。 针对现有车载语音识别系统在实际应用环境下噪声鲁棒性较差的问题,提出一种基于支持向量(SVM)的噪声分类与补偿方法。采集各应用场景下的噪声构建SV
    发表于 02-23 11:11 0次下载
    基于<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>的噪声<b class='flag-5'>分类</b>与补偿

    支持向量分类思想

    支持向量结合了感知和logistic回归分类思想,假设训练样本点(xi,yi)到超平面H的几何间隔为γ(γ>0),由上节定义可知,几何间
    的头像 发表于 11-23 08:58 5460次阅读
    <b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b>的<b class='flag-5'>分类</b>思想

    什么是支持向量 什么是支持向量

    支持向量,英文为Support Vector Machine,简称SV(论文中一般简称SVM)。它是一 种监督式学习的方法,它广泛的应用于统计
    发表于 01-28 16:01 2.2w次阅读
    什么是<b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b> 什么是<b class='flag-5'>支持</b><b class='flag-5'>向量</b>

    最小内内方差支持向量引导的字典学习算法

    算法。将融合 Fisher线性鉴别分析和支持向量大间隔分类准则的最小类内方差支持向量
    发表于 04-27 10:37 7次下载
    最小内内方差<b class='flag-5'>支持</b><b class='flag-5'>向量</b>引导的字典学习算法

    支持向量寻找最优分类超平面的优化问题

    根据,在线性可分情况下,支持向量寻找最优分类超平面的优化问题
    的头像 发表于 05-11 11:13 1609次阅读
    <b class='flag-5'>支持</b><b class='flag-5'>向量</b><b class='flag-5'>机</b><b class='flag-5'>寻找</b><b class='flag-5'>最优</b><b class='flag-5'>分类</b>超平面的优化问题

    人工神经网络(感知算法的意义)

    因为支持向量算是通过所有数据寻找最优分类方式的算法,而感知
    的头像 发表于 07-24 18:16 929次阅读
    人工神经网络(感知<b class='flag-5'>机</b>算法的意义)