大数据项目管理：从规划到实现

112

｜

第

6

章



使用的技术和算法

例如，用于执行

k

均值聚类作业的

Spark MLlib

或

TensorFlow

。



输入特征

可以将特征看作机器学习算法的输入。例如，从输入数据集中选择特定的数据属性，作

为

k

均值聚类的输入特征。



训练数据集和测试数据集

用于训练、验证和测试模型的数据。



训练目标

用来评估模型是否成功。这些目标将高度依赖于应用程序的需求、算法等，例如分类模

型的分类准确性。



人为调整模型

某些模型可以通过手动输入进行修改。对于这种模型，最重要的是捕获调整了哪些内容

以及背后的原因。



模型负责人

负责实现、定义已部署模型的人是谁？

6.2.5

　报告和仪表盘

常见的输出是人类可读的报告和仪表盘。创建它们很容易，但很快就会过时。

作为元数据策略的一部分，为了获取可见和可操作的报告，至少应该捕获以下内容：

•

数据源；

•

数据转换；

•

有关报告创建者的信息；

•

日志修改；

•

报告的目的；

•

表示它与哪些内容相关的标签。

标签有助于将报告映射回报告所涉及的内容，例如与区域、位置、版本等相关的标签。因

为一个组织可能会有数百甚至数千个仪表盘，所以标签可以作为一种将仪表盘链接回它们

所报告的内容的工具，从而减少重复报告的生成。

6.3

　元数据收集

元数据收集是一项极具挑战性的任务。事实上，很多公司不具备捕获元数据的有效流程。