最优化问题

title: 最优化问题 tags:

• 最优化

• 数学

• 机器学习

  categories:

• 数学

• 机器学习

最优化情形

无约束

这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。

等式约束

• 待优化问题

  • 设目标函数为 $f(x)$ ，约束条件为 $h_k(x)$ ，形如

  • $$\min f(x) \\ s.t. \ \ h_k(x) = 0 \ \ \ \ k=1,2,\cdots,l$$
  • s.t. 表示subject to ，受限于 的意思，$l$ 表示有个 $l$ 约束条件

• 解决方法是消元法或者拉格朗日乘子法

不等式约束

• 参考KKT条件

参考

• KKT条件