2018-09-17 Sqoop 导出脚本整理

Sqoop 倒数脚本整理

1、Sqoop—hdfs数据导入导出至Oracle数据库

导出到oracle的脚本
sqoop export 
--connect jdbc:oracle:thin:@192.168.218.91:1521:ODSDB 
--username movebi 
--password movebi 
--table MYTEST 
--export-dir hdfs://ns1/data/sd/mbi_realtime_newtarget_sd/act_sqoop_hdfs_waybill
--fields-terminated-by '\001'
-m 1

 注意：
 a、需要首先在oracle创建与hdfs文件中字段个数相同的表结构
 b、--fields-terminated-by'\001'，分割字段需要指定\001,否则也会产生报错的问题
 c、注意oracle的表名称一定要大写，否则会直接报错，在这块浪费了非常多的时间。

2、Sqoop—GP数据导入hive数据库

  导出到hive的脚本
  sqoop import
  --hive-import
  --connect jdbc:postgresql://192.168.218.163:6432/dp_dw163
  --username bi_develop 
  --password gp163
  --create-hive-table 
  --hive-drop-import-delims
  --hive-table zln.v_dm_dept_org
  --hive-overwrite 
  -m 1

3、Sqoop—Mysql数据导入至hive数据库中

sqoop import 
  --hive-import 
  --connect "jdbc:mysql://10.230.28.222:3306/test/useUnicode=true&characterEncoding=UTF-8&useSSL=false" 
  --username root 
  --password 111111 
  --table t_woss_train_summary_exp
  --null-string '\\N' 
  --null-non-string '\\N' 
  --hive-drop-import-delims 
  -m 1 
  --hive-partition-key opt_date
  --hive-partition-value ${partition}
  --hive-database woss
  --hive-table t_woss_train_summary_exp_test
  --hive-overwrite
  
  注意：
  a、指定分区的字段名
  b、hive已经新建目标表
  c、每次导入都是--hive-overwrite

小白工具文档:Sqoop的官方文档链接地址