机器学习是一个目标函数优化问题,给定目标函数f,约束条件会有一般包括以下三类:
当然还有一类没有任何约束条件的最优化问题
关于最优化问题,大都令人比较头疼,首先大多教材讲解通篇都是公式,各种符号表达,各种梯度,叫人看的云里雾里。
有没有结合几何图形阐述以上问题的?很庆幸,还真有这么好的讲解材料,图文并茂,逻辑推导严谨,更容易叫我们理解拉格朗日乘数法、KKT条件为什么就能求出极值。
拉格朗日乘数法
KKT条件
假定目标函数是连续可导函数,问题定义如下:
然后:
通过以上方法求解此类问题,但是为什么它能求出极值呢?