
243
第 8 章
查询、建模和转换
到目前为止,数据工程生命周期的各个阶段主要是将数据从一个地方转移到另一个地
方,或将其保存起来。在本章中,你将学习如何使数据变得有用。通过理解查询、建模
和转换(如图
8-1
所示),你会掌握将原始数据转化为下游利益相关者可用数据的工具。
DataOps
数据工程生命周期
生成
安全 数据管理 数据架构 编排 软件工程
反向 ETL
机器学习
分析
获取
转换 服务
存储
底层设计
:
图 8-1:数据转换使我们能够从数据中创造价值
我们首先讨论查询和它们背后的重要模式。其次,我们会看一下主要的数据建模方式,
你可以用它们把业务逻辑引入你的数据。再次,我们讨论转换,它将实现你的数据模型
的逻辑,并让查询结果对下游消费者更有用处。最后,我们将介绍你和谁一起工作,以
及与本章有关的底层设计。
在
SQL
和
NoSQL
数据库中,有多种多样的技术可以用来查询、建模和转换数据。本节
的重点是对数据仓库或数据湖等
OLAP
系统的查询。尽管存在许多用于查询的语言,在
本章的大部分内容中,我们将主要关注使用方便的同时也被很多人熟知的
SQL
,这是最