构建机器学习管道

第 3 章 数据导入 数据导入

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

有了基本的 TFX 设置和 ML MetadataStore，在本章中，我们将重点介绍如何将数据集摄取到管道中，以便在各种组件中使用，如图 3-1 所示。

图 3-1. 作为 ML 管道一部分的数据摄取

TFX 为我们提供了从文件或服务中获取数据的组件。在本章中，我们将概述基本概念，解释将数据集拆分为训练和评估子集的方法，并演示如何将多个数据导出合并为一个全面的数据集。 然后，我们将讨论一些摄取不同形式数据（结构化数据、文本数据和图像数据）的策略，这些策略已在以往的使用案例中得到证明。

数据输入概念

在管道的这一步骤中，我们从外部服务（如谷歌云 BigQuery）读取数据文件或请求管道运行所需的数据。 在将获取的数据集传递给下一个组件之前，我们会将可用数据划分为不同的数据集（例如训练数据集和验证数据集），然后将数据集转换为 TFRecord 文件，其中包含以tf.Example 数据结构表示的数据。

TFR 记录

TFRecord 是一种轻量级格式，专为流式传输大型数据集而优化。 虽然在实践中，大多数 TensorFlow 用户都将序列化的示例协议缓冲区存储在 TFRecord 文件中，但 TFRecord 文件格式实际上支持任何二进制数据，如下所示：

import tensorflow as tf

with tf.io.TFRecordWriter("test.tfrecord") as w:
    w.write(b"First record")
    w.write(b"Second record")

for record in tf.data.TFRecordDataset("test.tfrecord"):
    print(record)

tf.Tensor(b'First record', shape=(), dtype=string)
tf.Tensor(b'Second record', shape=(), dtype=string)

如果 TFRecord 文件包含tf.Example 条记录，则每条记录都包含一个或多个特征，这些特征将代表我们数据中的列。然后，数据被存储在二进制文件中，可以被高效地消化。如果您对 TFRecord 文件的内部结构感兴趣，我们向您推荐TensorFlow 文档。

将数据存储为TFRecord和tf.Examples 有几个好处：

1. 该数据结构与系统无关，因为它依赖于跨平台、跨语言库 Protocol Buffers 来序列化数据。

2. TFRecord 经过优化，可快速下载或写入大量数据。

3. tf.Example是 TFRecord 中代表每条数据行的数据结构，也是 TensorFlow 生态系统中的默认数据结构，因此在所有 TFX 组件中都会使用。

数据集的摄取、分割和转换过程由ExampleGen 组件执行。 正如我们在以下示例中看到的，数据集可以从本地和远程文件夹中读取，也可以从 Google Cloud BigQuery 等数据服务中请求。

输入本地数据文件

ExampleGen 组件可以接收一些数据结构，包括逗号分隔值文件（CSV）、预计算的 ...