Presto实战

Presto

的架构

｜

43

连接器实现

API

的三个部分：

•

获取表、视图、

schema

元数据的操作；

•

产生数据分区的逻辑单位的操作，用于

Presto

的并行读写；

•

在源数据和查询引擎所需的内存数据格式之间进行转换的数据读取和写入组件。

Presto

提供了许多系统的连接器

，如

HDFS/Hive

、

MySQL

、

PostgreSQL

、

MS SQLServer

、

Kafka

、

Cassandra

、

Redis

等。

第

6

章和第

7

章将介绍其中一些连接器。可用的连接器还在

持续增加，你可以从

Presto

文档中获得其支持的连接器的最新列表（参见

1.4.2

节

）。

当你需要连接到一个尚未支持的数据源时，也可以利用

Presto

的

SPI

创建自定义的连接

器。如果你决定创建新连接器，我们强烈建议你先了解

Presto

的开源社区

、寻求我们的帮

助并将你的连接器贡献出来，可以参考

1.4

节以获得更多信息

。如果组织内有独特的或私

有的数据源，可能也需要自定义连接器。这就是

Presto

允许用户使用

SQL

查询任何数据源

的原因——真正的

SQL-on-Anything

。

图

4-5

展示了

Presto

SPI

包含的不同接口，其中协调器使用的是元数据、数据统计和数据

定位接口，工作节点使用的是数据流接口。

协调器 工作节点

元数据SPI 数据统计SPI 数据位置SPI 数据流SPI

图 4-5：Presto SPI 概览

Presto

服务端程序在启动时以插件的形式加载连接器。连接器由

catalog

属性文件中特定的

参数配置，并从插件目录中加载。第

6

章将进一步探索这一问题。 ...