机器学习实战：基于Scikit-Learn、Keras 和TensorFlow （原书第2 版）

训练模型

｜

139

一旦为实例

x

计算了每个类的分数，就可以通过 softmax 函数来估计实例属于类

k

的概

率

p

ˆ

k

（见公式 4-20）。该函数计算每个分数的指数，然后对其进行归一化（除以所有指

数的总和）。分数通常称为对数或对数奇数（尽管它们实际上是未归一化的对数奇数）。

公式 4-20：Softmax 函数

p

ˆ

kk

= =

σ

( ( ))sx

∑

j

K

=

exp( ( ))

1

exp( ( ))

s

k

s

j

x

x

在此等式中：

•

K

是类数。

•

s

(

x

) 是一个向量，其中包含实例

x

的每个类的分数。

•

σ

(

s

(

x

))

k

是实例

x

属于类

k

的估计概率，给定该实例每个类的分数。

就像逻辑回归分类器一样，Softmax 回归分类器预测具有最高估计概率的类（简单来说

就是得分最高的类），如公式 4-21 所示。

公式 4-21：Softmax 回归分类预测

ys

ˆ

= = =argmax ( ( )) arg max ( ) arg max(( ) )

k kk

σ

sx x x

kk

θ

()Tk

argmax

运算符返回使函数最大化的变量值。在此等式中，它返回使估计概率

σ

(

s

(

x

))

k

最

大化的

k

值。

Softmax 回归分类器一次只能预测一个类（即它是多类，而不是多输出），因

此它只能与互斥的类（例如不同类型的植物）一起使用。你无法使用它在一

张照片中识别多个人。

既然你已经知道了模型如何进行概率估算并做出预测，那我们再来看看怎么训练。训练

目标是得到一个能对目标类做出高概率估算的模型（也就是其他类的概率相应要很低）。

通过将公式 4-22 的成本函数（ ...