Mysql数据通过Sqoop导入HDFS

同步策略

Ø 全量表：存储完整的数据。

Ø 增量表：存储新增加的数据。

Ø 新增及变化表：存储新增加的数据和变化的数据。

Ø特殊表：只需要存储一次。

1.全量同步策略

image-20210524105637572.png

2.增量同步策略

image-20210524105830582.png

3.新增及变化策略

image-20210524110032003.png

4.特殊策略

某些特殊的维度表，可不必遵循上述同步策略。

1）客观世界维度

没变化的客观世界的维度（比如性别，地区，民族，政治成分，鞋子尺码）可以只存一份固定值。

2）日期维度

日期维度可以一次性导入一年或若干年的数据。

分析表同步策略

image-20210524110210314.png

sqoop命令

sqoop import \
--connect jdbc:mysql://hadoop102:3306/gmall \
--username root \
--password 000000 \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \                         #是否删除已存在的目标文件
--query "select 1=1 and  \$CONDITIONS" \        # 查询语句最后都要加 and $CONDITIONS
--num-mappers 1 \                             #数据分割   sqoop底层执行MR中的map
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \            #字符串空值
--null-non-string '\\N'         #非字符串空值

#Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。