
230
|
第
5
章
持续模型评估过程。也就是说,收集
6
个月或一年前的数据,并通过常规的模型开
发工作流程,生成特征,优化超参数并捕获相关的评估指标。然后,将这些评估指
标与一个月前收集的最新数据的模型预测进行比较。旧模型在当前数据上的性能有
多差?
这样可以很好地估算模型的性能随时间下降的速度以及重新训练的频率。
图
5
-
8
:在旧数据上训练模型并在当前数据上评估模型,模拟了离线环境中的持续模型评估
过程。
设计模式
19
:两阶段预测
两阶段预测设计模式提供了一种方法,当大型复杂模型必须部署在分布式设备上时,
该方法通过将用例分为两个阶段,在边缘只执行较简单的阶段,从而解决保持模型
性能的问题。
问题
在部署机器学习模型时,不能总是依赖终端用户拥有可靠互联网连接。在这种情况下,
模型被部署在边缘——这意味着它们已加载到用户的设备上,不需要互联网连接即
可生成预测。在给定设备限制的情况下,部署在边缘的模型通常要比部署在云中的
模型小,因此需要在模型复杂度、大小、更新频率、准确率和低延迟之间进行权衡。