Skip to Main Content
Hadoop数据分析
book

Hadoop数据分析

by Benjamin Bengfort, Jenny Kim
April 2018
Intermediate to advanced content levelIntermediate to advanced
229 pages
6h 19m
Chinese
Posts & Telecom Press
Content preview from Hadoop数据分析
124
7
7.1
 使用
Sqoop
导入关系数据
Sqoop
SQL-to-Hadoop
)是由
Cloudera
1
创建的关系数据库导入
/
导出工具,现在是
Apache
顶级项目。
Sqoop
的设计初衷是在关系数据库(例如
MySQL
Oracle
)和
Hadoop
数据存
储(例如
HDFS
Hive
HBase
)之间传输数据。它通过直接从
RDBMS
读取模式信息,
自动执行大部分数据传输过程,然后使用
MapReduce
将数据导入和导出
Hadoop
2
Sqoop
在将数据维持在生产状态的同时,将其复制到
Hadoop
中,从而进行进一步分析,
避免修改生产数据库。我们将介绍几种使用
Sqoop
将数据从
MySQL
数据库导入
Hadoop
数据存储(例如
HDFS
Hive
HBase
)的方法。
本章的
Sqoop
示例假设
MySQL
数据库安装在
Sqoop
所在的主机上且可
通过
localhost
访问。要安装和配置本地
MySQL
数据库,请遵循
MySQL
网站上的官方安装指南(
https://dev.mysql.com/doc/mysql-apt-repo-quick-
guide/en/
)或
Linode
网站上的简明指南(
https://www.linode.com/docs/
databases/mysql/install-mysql-on-ubuntu-14-04/
)。请记住,大多数命令需
要使用
sudo
;而且,不要为
servername
设置主机名,因为这会在尝试通过
localhost
连接时发生冲突。
本章假设你已经安装了与你的
Hadoop ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Kudu:构建高性能实时数据分析存储系统

Kudu:构建高性能实时数据分析存储系统

Jean-Marc Spaggiari, Mladen Kovacevic, Brock Noland, Ryan Bosshart
Java并发编程实战

Java并发编程实战

Brian Goetz, Tim Peierls
面向机器学习的自然语言标注

面向机器学习的自然语言标注

James Pustejovsky, Amber Stubbs

Publisher Resources

ISBN: 9787115479648