凸优化初步_凸优化求鞍点

作者：小丑西瓜9 | 2024-05-21 22:47:55

踩

凸优化求鞍点

七月在线4月机器学习算法班课程笔记——No.4

前言

这节课主要介绍凸优化的入门知识，程博士推荐阅读Boyd的《凸优化》，最经典的凸优化的书，这本书有600多页，细致讲解了凸优化相关的理论知识，可以作为一门学科来学习。因为硕士阶段学过《工程优化》，在这次学习过程中能容易的get到思想。一般的优化问题包括有约束和无约束两种，在这里我们将要弄清楚两件事情：为什么要优化？为什么要凸优化？

首先，为什么要优化？大致组织了以下两点：

1）方程式组本身没有解，但是在工程应用中会有求近似解的需求，怎么办呢？可以转化为求f（x）的最小值，即最小二乘问题。通过求导、求梯度来解。

2）如果方程式组变量特别多，且都是高阶的，可以想象是相当难解的。仍然可以转为最优化问题。

1. 优化问题基础知识

1.1 无约束优化问题

首先来看无约束优化问题。无约束优化问题中会需要极值点分析，如局部最小（大）点、全局最小（大）点以及拐点（例如x³在x=0时）。高等数学有讲过，简单的函数求极值点可以求梯度，复杂一点的可以求二阶偏导，得到Hessian矩阵。

从Hessian矩阵可以看出，Hessian矩阵是个对称矩阵，因此可以定义矩阵的正负，也就是求对应的二次型的正负。求解二次型的特征值，如果特征值全正，就是正定矩阵；如果有正有负，就是不定矩阵。

1.2 泰勒级数展开

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/605034