sqoop

sqoop是一款在hadoop和关系数据库服务器之间传送数据的工具。
导入：mysql，oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。
导出：从hadoop的文件系统导出数据到关系数据库。

sqoop

工作机制：将导入导出命令翻译成mapreduce程序来实现。对inputformat和outputformat的定制。

安装

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

cd conf
mv sqoop-env-template.sh sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.6.4(which hadoop)
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.6.4
export HIVE_HOME=/home/hadoop/apps/hive

加入mysql的jdbc驱动包
cp /home/hadoop/apps/hive/lib/mysql-connector-java-5.1.34_1.jar ./lib/（当前目录下的lib）

bin/sqoop help

从mysql数据库服务器中表导入hdfs

$bin/sqoop import   \
--connect jdbc:mysql://mini1:3306/test   \
--username root  \
--password root   \
--table emp   \
--m 1 （用几个mapreduce跑）

默认导到
$ $HADOOP_HOME/bin/hadoop fs -cat /user/hadoop/emp/part-m-00000
要导到指定位置加参数：
--target-dir <new or exist directory in HDFS>
检查导入：
$HADOOP_HOME/bin/hadoop fs -cat /queryresult/part-m-*
远程登录mysql：mysql -h mini1 -uroot -proot
注意hosts的配置，必须每台机器都配上，因为maptask(yarnchild)在不同的机器上，如果没配好不能解析主机名。

导入关系表到hive

bin/sqoop import --connect jdbc:mysql://hdp-node-01:3306/test --username root --password root --table emp --hive-import --m 1

导入表数据子集

bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--where "city ='sec-bad'" \
--target-dir /wherequery \
--table emp_add --m 1

按需导入：

bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--target-dir /wherequery2 \
--query 'select id,name,deg from emp WHERE  id>1207 and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 1

检查：
$HADOOP_HOME/bin/hadoop fs -cat /wherequery/part-m-*

增量导入

bin/sqoop import \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--table emp --m 1 \
--incremental append \
--check-column id \
--last-value 1208

导出
1.建表

mysql> USE db;
mysql> CREATE TABLE employee ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT,
   dept VARCHAR(10));

2.导出命令

bin/sqoop export \
--connect jdbc:mysql://hdp-node-01:3306/test \
--username root \
--password root \
--table employee \
--export-dir /user/hadoop/emp/

验证：
mysql>select * from employee;
在实际应用中把这些命令写入shell脚本，通过azkaban这些作业调度工具来调度。

sqoop

推荐阅读更多精彩内容