
84
|
第
2
章
周)自动运行。
•
编写另一个脚本,该脚本将在更新的测试集上评估新模型和旧模型,如果性能良好,
则将该模型部署到生产环境中(如果性能降低,请调查原因)。
你还应该确保评估模型的输入数据质量。有时由于信号质量较差(例如故障、传感器发
送随机值,或者其他的输出过时了),但是你的系统性能可能需要一段时间才能触发警
报。如果你监控模型的输入,则可能会更早一点发现。例如,越来越多的输入缺少某个
特征,或者其平均值或标准差偏离训练集太远,或者分类特征中出现了新类别。
最后,请保留每个模型的备份,准备好流程和工具,以便在新模型出现时快速回滚到以
前的模型,以防新模型由于某种情况开始出现严重故障。进行备份还可以轻松实现将新
模型与以前的模型进行比较。同样,你应该保留每个版本的数据集,以便在新数据集遭
到破坏的情况下可以回滚到先前的数据集(如果事实能证明添加到其中的新数据都是离
群 值 )。 备份数据集还可以针对任何先前的数据集来评估任何模型。
你可能需要创建测试集的几个子集,以便评估你的模型在特定部分数据的效
果如何。例如,你可能希望有一个仅包含最新数据,或用于特定类型输入的
测试集(例如,位于内陆的区域与靠近海洋的区域)。这将使你更深入地了
解模型的长处和短处。
如你所见,机器学习涉及很多基础架构,如果你的第一个 ML 项目花费大量精力和时间
来构建和部署到生产环境,请不要觉得奇怪。幸运的是,一旦所有基础设施都准备就
绪,从构想到生产环境将会很快实现。
2.9 试试看
希望通过本章内容,你能够了解一个机器学习项目大概是什么样子,同时了解一些用来 ...