- 推导得出KKT条件 -

正是在求解凸优化的含不等式约束时，推导出了KKT条件，下面通过图形和符号一步一步推导。

带求解问题

f(x) 最小值为 0 ，如下图，同时给出了带约束极小值与无约束一致需要满足的两个条件（第二个条件正是正定二次型）

以上情况，我们称此约束失效（not active）,如下图所示：

为了让以上约束生效，重新定义目标函数：

即等同于圆心位置移动：

容易看出，如果不带约束，目标函数的最小值位于圆心处取得，但是此处不能满足约束：

因此，直观感觉，目标函数的最小值是在恰好与约束区域边界外切处取得，如下图所示：

用数学公式描述，即满足：

正是基于这个等式，定义了著名的拉格朗日乘子法：

总结以上两种情况（无约束极小值取得位置是否位于可行域内）：

合并以上两种，追求简约，总结了约束条件，这就是：KKT条件

具体来说：

1)

合并为KKT条件:

2)

比较容易观察

3)

合并为KKT条件4：

4) 

合并为条件3：

上式等式正是支持向量机中为什么真正只有两个点起到分类作用的原因

5）半正定二次型约束，等价于凸优化