阿里云maxcopute+dataworks+datav 实践

阿里云大数据

本例架构图

电商网站搭建

ECS 镜像:
Magento 开源电子商务系统(含演示数据)｜LNMP （Centos8)
公网IP
RDS 白名单加上ECS，
创建数据库magento utf8、创建用户dbusr，给读写权限
启动后访问公网IP进行Magento搭建输入db信息管理员的信息其他都下一步就行，安装完毕之后注册个普通用户登陆上去

#原装的有点问题 需要执行下面的命令搞定下
chown nginx: -R /var/lib/php/
systemctl disable dnf-automatic.timer
systemctl stop dnf-automatic.timer

qiut登陆ok

Dataworks Maxcompute

工作空间

dataworks 中创建工作空间选择引擎的时候跳到maccompute 按量服务购买

选择引擎

引擎详情

数据集成创建数据源

dataworks 控制台进入数据集成

将如下 ip加道rds白名单中 dataworks 需要直接访问库

ip加道rds白名单

在数据源中新增一个数据源（该数据源为电商业务数据库）

填写数据源信息并测试联通性通过再完成

将dataworks所在地域的ip列表加到RDS白名单

数据开发

数据同步

进入数据开发

右键业务流程 -新建业务流程

拖入离线同步节点然后双击该节点

配置业务库为源 ODPS默认库位去向(需要点击以减生成目标表来生成新表)

修改表名

点击运行

点击确定

验证数据是否同步过来

数据处理

新建表ADS-增加最终需要的字段并保存

添加中文名并提交到生产

拖入ODPSsql 修改名称并关联第一个node，双击进入

填入如下sql

truncate table sales_datav2;
insert into sales_datav2
select  sum(total_qty_ordered) AS total_quantity,
 sum(grand_total) AS total_sales
from ods_sales_order2
where ds=${bizdate};

设置参数

保存-运行-查看数据

数据服务 Lightning数据源API开发

进入数据服务

新增数据源

新增postgreql

odps.max_xxt 为空间名
jdbc:postgresql://lightning.cn-beijing.maxcompute.aliyun-inc.com/odps.max_qst
JDBCURL 不同地域的endpoint 参见
https://help.aliyun.com/document_detail/89754.html

新增业务流程

创建业务流程-如果没有API分组去API网关创建

创建API分组

绑定域名

生成API

API元数据

API内容对应哪个表的哪个字段

返回分页保存并测试

测试成功

点击发布

发布后可在公网测试访问

curl -i --get --include 'http://abc.aaa.com/abctest?pageNum=1&pageSize=10' -H 'Authorization:APPCODE 12'
abc.aaa.com 为之前绑定的域名 abctest为之前的APIPath
12 为下图中获取的AppCode

APPcode、key、secret 获取

从具体API中的自定义示例代码中获取