Sqoop import基本操作讲解

#将to_hdfs数据导入到HDFS
bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--table to_hdfs

#导入到HDFS的默认路径是：/user/ibeifeng/to_hdfs

#import常用的参数

#指定导入到HDFS的路径
bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--table to_hdfs \
--target-dir '/sqoop_test/from_mysql'

#指定map task数量
bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--table to_hdfs \
--target-dir '/sqoop_test/from_mysql' \
--num-mappers 1

#自动删除已经存在的输出目录
bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--table to_hdfs \
--target-dir '/sqoop_test/from_mysql' \
--delete-target-dir \
--num-mappers 1

#快速模式警告：
This transfer can be faster! Use the --direct

bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--direct \
--table to_hdfs \
--target-dir '/sqoop_test/from_mysql' \
--delete-target-dir \
--num-mappers 1

#增量导入，目的避免导入重复的数据
Incremental import arguments:
--check-column <column>        Source column to check for incremental
                               change
--incremental <import-type>    Define an incremental import of type
                               'append' or 'lastmodified'
--last-value <value>           Last imported value in the incremental
                               check column

#演示增量导入（别忘记向to_hdfs表插入新的数据）
bin/sqoop import \
--connect jdbc:mysql://[hostname]:3306/sqoop_test \
--username root \
--password 123456 \
--direct \
--table to_hdfs \
--target-dir '/sqoop_test/from_mysql' \
--num-mappers 1 \
--check-column id \
--incremental 'append' \
--last-value 5

#警告信息：--append and --delete-target-dir can not be used together.
#表示增量导入和自动删除输出目录不能同时使用

#增量导入mapreduce输出目录为什么能提前存在？
答：由于增量导入的特性，mapreduce的真正输出目录并不是--target-dir指定的目录，会mr结果输出到一个临时目录，然后在mv到--target-dir指定的目录