SVM(三)：线性支持向量机的对偶算法_线性支持向量机的对偶形式

作者：从前慢现在也慢 | 2024-06-20 16:08:40

踩

线性支持向量机的对偶形式

对偶算法相较于原算法有两个优点：
1.对偶问题往往更容易求解
2.自然引入核函数，进而推广到非线性分类问题

一、线性可分支持向量机

首先构建拉格朗日函数，定义为：
在这里插入图片描述

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
在这里插入图片描述
所以为了得到对偶问题的解，要先求拉格朗日函数对w，b的极小，再求对a的极大。
将拉格朗日函数分别对w，b求偏导并令其等于0，有：

将上式带入到拉格朗日函数中可以得到：

这样就可以得到拉格朗日函数对w，b的极小，再求对a的极大，即是对偶问题：
在这里插入图片描述
将上式由求极大转换为求极小，有：

考虑到原始最优化问题（见SVM（一））和对偶最优化问题满足定理2（见SVM（二）），所以存在w*,a使得w是原始问题的解，a*是对偶问题的解。这意味着求解原始问题可以转换为求解对偶问题。

二、线性支持向量机

构建拉格朗日函数：
在这里插入图片描述
先对前三个参数求极小得：

将上式代入拉格朗日函数，得：

再对上式求a的极大，即得对偶问题：

将该求极大问题转变为求极小问题，得到对偶问题：

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/740336