机器学习实战：基于Scikit-Learn、Keras 和TensorFlow （原书第2 版）

647

附录 C

SVM 对偶问题

要了解对偶性，你首先需要了解拉格朗日乘数方法。一般的想法是通过将约束移到目标

函数中，将一个约束的优化目标转换为无约束的目标。让我们看一个简单的示例。假设

你想找到

x

和

y

的值，使函数

f

(

x

,

y

) =

x

2

+ 2

y

最小化，并受一个等式约束：3

x

+ 2

y

+ 1 = 0。

使用拉格朗日乘数方法，我们首先定义一个称为拉格朗日（或

Lagrange

函数

）的新函

数：

gxy fxy x y(, , ) (, ) (3 2 1)

αα

= − ++

。从原始目标中减去每个约束（在这个示例中，只

有一个），然后乘以一个新的称为拉格朗日乘数的变量。

Joseph-Louis Lagrange 证明，如果

(, )xy

ˆˆ

是有约束优化的一个解，那么肯定存在一个

α

，

使得

(, )xy

ˆˆ

，

α

ˆ

是一个拉格朗日稳定点（稳定点是所有偏导都等于零的点）。换句话说，我

们可以计算

gxy(, , )

α

对于

x

、

y

和

α

的偏导。我们可以找到使这些偏导为零的取值，约

束优化问题（如果存在的话）的解必须在这些稳定点之间。

在此示例中，偏导数为：



















∂

∂

∂

∂

∂

∂

x

y

α

gxy x

gxy

gxy x y

(,, ) 2 3

(,, ) 2 2

(,, ) 3 2 1

αα

αα

α

= −

= −

=−− −

当所有这些偏导数都等于 0 时，我们发现

2 3 22 3 2 10x xy

ˆ ˆˆ

− = − =− − −=

αα

ˆˆ

，从中我们可

以很容易地找到

xy

ˆˆ

= = −

3 11

24

,

，且

α

ˆ

=1

。这是唯一的稳定点，并且考虑到约束，它必须 ...