概述
经过前一步的ads建模之后，接下来就是数据导出到mysql中。
ADS层分析
建表
- 创建表结构
-- 进入数据库
use mall;
-- 创建gmv表
create table ads_gmv_sum_day
(
dt varchar(200) comment '统计日期 ' ,
gmv_count varchar(200) comment '每日gmv订单个数',
gmv_amount varchar(200) COMMENT '每日gmv订单总金额',
gmv_payment varchar(200) COMMENT '当日支付金额'
) COMMENT '每日GMV统计';
- 执行建表
export MYSQL_PWD=DBa2020*
mysql -uroot mall < /home/warehouse/sql/mysql_gmv_ddl.sql
脚本
- 在之前的sqoop_export.sh脚本上，加上ads_gmv_sum_day表选项，改成sqoop_gmv_export.sh
#!/bin/bash
db_name=mall
export_data() {
sqoop export \
--connect "jdbc:mysql://node02:3306/${db_name}?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password DBa2020* \
--table $1 \
--num-mappers 1 \
--export-dir /warehouse/$db_name/ads/$1 \
--input-fields-terminated-by "\t" \
--update-key "tm_id,category1_id,stat_mn,stat_date" \
--update-mode allowinsert \
--input-null-string '\\N' \
--input-null-non-string '\\N'
}
case $1 in
"ads_sale_tm_category1_stat_mn")
export_data "ads_sale_tm_category1_stat_mn"
;;
"ads_gmv_sum_day")
export_data "ads_gmv_sum_day"
;;
"all")
export_data "ads_sale_tm_category1_stat_mn"
;;
esac
- 执行脚本
mysql> select * from ads_gmv_sum_day;
+------------+-----------+------------+-------------+
| dt | gmv_count | gmv_amount | gmv_payment |
+------------+-----------+------------+-------------+
| 2021-03-24 | 300 | 160700 | 80931 |
+------------+-----------+------------+-------------+
