Sqoop 倒数脚本整理
- 1、Sqoop—hdfs数据导入导出至Oracle数据库
导出到oracle的脚本
sqoop export
--connect jdbc:oracle:thin:@192.168.218.91:1521:ODSDB
--username movebi
--password movebi
--table MYTEST
--export-dir hdfs://ns1/data/sd/mbi_realtime_newtarget_sd/act_sqoop_hdfs_waybill
--fields-terminated-by '\001'
-m 1
注意：
a、需要首先在oracle创建与hdfs文件中字段个数相同的表结构
b、--fields-terminated-by'\001'，分割字段需要指定\001,否则也会产生报错的问题
c、注意oracle的表名称一定要大写，否则会直接报错，在这块浪费了非常多的时间。
- 2、Sqoop—GP数据导入hive数据库
导出到hive的脚本
sqoop import
--hive-import
--connect jdbc:postgresql://192.168.218.163:6432/dp_dw163
--username bi_develop
--password gp163
--create-hive-table
--hive-drop-import-delims
--hive-table zln.v_dm_dept_org
--hive-overwrite
-m 1
- 3、Sqoop—Mysql数据导入至hive数据库中
sqoop import
--hive-import
--connect "jdbc:mysql://10.230.28.222:3306/test/useUnicode=true&characterEncoding=UTF-8&useSSL=false"
--username root
--password 111111
--table t_woss_train_summary_exp
--null-string '\\N'
--null-non-string '\\N'
--hive-drop-import-delims
-m 1
--hive-partition-key opt_date
--hive-partition-value ${partition}
--hive-database woss
--hive-table t_woss_train_summary_exp_test
--hive-overwrite
注意：
a、指定分区的字段名
b、hive已经新建目标表
c、每次导入都是--hive-overwrite
