Presto实战

将

Presto

与其他工具集成

｜

205

11.3

　使用

Apache Airflow

的工作流

Apache Airflow

是一个广泛使用的系统，用于以编程方式编写、调度和监控工作流。它专

注于数据流水线处理，在数据科学界得到了广泛的应用。它用

Python

实现

，能够编排并执

行用

Python

编写的复杂工作流，并且能够调用众多支持的系统，还可以执行

shell

脚本。

为了将

Presto

与

Airflow

集成起来

，你可以利用

Airflow

中的

Presto

钩子（

hook

），或在命

令行中运行

Presto

CLI

。

Airflow

支持

Presto

之外的许多数据源，因此你既可以在

Presto

之

外准备数据，之后通过

Presto

来消费数据

，又可以通过

Presto

来访问和处理数据，以利用

其高性能、可扩展性和集成众多数据源的特性。

整合

Airflow

和

Presto

的

目标通常是对源数据进行处理，最终得到一个高质量的数据集，

可以为应用程序和机器学习模型所用。一旦由

Airflow

编排并由

Presto

或其他集成的组件

执行的工作流程产生了所需的数据集，就可以用

Presto

来访问这些数据

，并通过报告和仪

表板向用户展示这些数据，这部分可以使用

ApacheSuperset

，参见

1

1.1

节。

11.4

　嵌入式

Presto

示例

：

Amazon Athena

Amazon Athena

是一个查询服务，可用于直接对存储在

Amazon

S3

中的任何大小的数据

文件执行

SQL

查

询。

Athena

是一个很好的应用程序例子，它将

Presto

作为查询引擎封装起

来，从而提供强大的功能和特性 ...