本文中的Sqoop使用v1.4.6版本
Sqoop官方档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
Sqoop是一个数据同步工具，是apache基金会的顶级项目。
Sqoop可以实现数据在RDBMS和Hadoop的导入导出
Sqoop可以通过简单的配置实现同步功能，免去开发烦恼
本文参照Sqoop官方文档指导完成，由于Sqoop体量并不是很大并且配置相对比较简单，所以官方文档也是很好看懂的，建议大家看一下。感谢A大给我们提供的优秀开源组件 :)
Sqoop Logo
Sqoop
Sqoop基础用法 Doc
使用方法: sqoop COMMAND [ARGS]
可用命令:
codegen 生成Sqoop操作数据功能的代码，Sqoop根据用户指定的配置信息生成对应的Java代码，再使用脚本调用代码实现同步功能
create-hive-table 导入表数据到Hive
eval 评估测试SQL语句并显示执行结果，可以是RDBMS的Sql或Hql
export 导出HDFS中的文件或目录到RDBMS
help 显示可用命令帮助信息
import 导入表或数据库到HDFS
import-all-tables 导入指定数据库所有表到HDFS
job 将配置保存为Sqoop任务，通过job命令可方便控制
list-databases 列出某主机的所有可用数据库
list-tables 列出某数据库的所有可用表
version 显示版本信息
Sqoop导入Mysql数据到HDFS Doc
- 在mysql中创建测试数据
DROP DATABASE IF EXISTS sqoop_import_test;
CREATE DATABASE sqoop_import_test DEFAULT CHARSET=utf8;
USE sqoop_import_test;
SET FOREIGN_KEY_CHECKS=0;
DROP TABLE IF EXISTS `emp_test`;
CREATE TABLE `emp_test` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`emp_name` varchar(255) DEFAULT NULL,
`emp_age` int(3) DEFAULT NULL,
`last_login_time` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=5 DEFAULT CHARSET=utf8;
INSERT INTO `emp_test` VALUES ('1', '简书', '1', '2017-06-09 14:36:54');
INSERT INTO `emp_test` VALUES ('2', '印象笔记', '2', '2017-06-09 14:37:14');
INSERT INTO `emp_test` VALUES ('3', 'OneNote', '3', '2017-06-09 14:37:31');
INSERT INTO `emp_test` VALUES ('4', '有道云笔记', '4', '2017-06-09 14:37:47');
- 将Mysql JDBC使用的jar包添加到Sqoop库
- 准备对应版本的mysql连接JDBC jar如
mysql-connector-java-5.1.38.jar - 将该jar拷贝到
${Sqoop_HOME}/lib目录下
- 执行导入
我们的目的是将Mysql中的sqoop_import_test.emp_test表导入HDFS，所以我们使用Sqoop的import命令:
sqoop import \
--append \
--connect jdbc:mysql://master:3306/sqoop_import_test \
--username root \
--password root \
--target-dir /rdbms_2_hdfs \
--num-mappers 1 \
--table emp_test \
--fields-terminated-by '&'
- 查看结果
若正常执行完成则会发现HDFS对应目录下会出现相应的文件，查看文件内容与数据库中的一致
HDFS结果查看
Sqoop导入Mysql数据到Hive Doc
准备测试数据的过程同上，不再赘述
执行导入到Hive命令：
sqoop import \
--hive-import \
--connect jdbc:mysql://master:3306/sqoop_import_test \
--username root \
--password root \
--hive-table rdmbs_2_hive \
--num-mappers 1 \
--table emp_test
成功执行后查看Hive中结果：
Hive查询结果
总结
文档中演示的导入操作只是Sqoop提供的最基础功能之一。Sqoop还有很多有趣的用法和有趣的导入配置项，请大家查看官方文档并进行尝试操作 :)
