
模型训练模式
|
143
训练设计模式
本章介绍的设计模式都是关于以某种方式修改典型的训练循环。在有用的过拟合
(
Useful Overfitting
)设计模式中,由于要有意过拟合训练数据集,因此放弃使用验
证或测试数据集
;
在检查点(
Checkpoints
)设计模式中,我们定期存储模型的完整状
态,以便可以访问部分训练的模型。当使用检查点时,通常也使用虚拟轮次(
virtual
epoch
)。在这些轮次中,我们决定
fit()
函数内部循环的执行。内部循环不是在完
整的训练数据集上进行,而是在固定大小的训练数据上进行。在迁移学习(
Transfer
Learning
)设计模式中,我们将使用以前训练过的模型,冻结权值,并将这些不可
训练的层合并到一个新的模型中。该模型可以在数据集较小的条件下解决类似的问
题。在分布式策略(
Distribution Strategy
)设计模式中,训练循环是在多个工作者
(
worker
)上大规模进行的,通常具有缓存、硬件加速和并行化功能。最后,在超参
数调优(
Hyperparameter Tuning
)设计模式中,训练循环被集成到优化过程中,用于
寻找优化的模型超参数集。
设计模式
11
:有用的过拟合
有用的过拟合是一种设计模式,在这种设计模式中,由于我们要有意过拟合训练数
据集而放弃使用泛化机制。在过拟合可能是有益的情况下,此设计模式建议我们在
进行机器学习时不要进行正则化、
dropout
或加入验证数据集使训练早停。
问题
机器学习模型的目标是对未知的新数据具有泛化能力,并做出可靠的预测。如果你 ...