鹅吞千丈

DWB层实现 还有 hive 优化 和 数据倾斜问题 1.DWB层开始按主题划分，日（天）统计宽表，轻度提前聚合操作 解释:轻度提前聚合说的是先聚合出口的指标，后续可以上卷出...

鹅吞千丈

DWD实现:纬度退化操作（退维） 本项目老师给我们讲三大宽表 订单明细表宽 主表:订单事实表（拉链表） 1.订单组表 2.订单组支付信息表 3.商品快照表 4.订单辅表 5...

鹅吞千丈

渐变纬 拉链表的设计 dwd层的搭建_三导入方式 全量导入，循环和拉链导入，全量覆盖导入 重点，讲的拉链表。 hive的相关配置导入。

鹅吞千丈

数仓分层设计 ODS层 元数据层 DWD层 细分数据层（数据的转化和清洗） DWB层 数据降纬 出明细宽表，作为中间数据使用 DWS层 按照主题划分的日统计宽表，基于DWB层...

鹅吞千丈

今天 sqoop 讲完了 sqoop 的安装 从关系型数据库导入到HDFS mysql数据导入hive orc压缩格式用 hcatalog apl 导入 hive看不了，可以...

鹅吞千丈

今天第一天，老师讲了大数据框架 Lambda架构 离线走离线 实时走实时 还有kappa架构 流批一体架构（未来主流） 还有一些大数据环境的工具 比如 flume:实时数据采...

鹅吞千丈

第四天 对MySQL库的数据进行采集，筛选去除脏数据。 第五天 采集后台日志数据 模拟后台日志数据， 1.读取文件 2.从MySQL元数据库中查询是否处理过 3.进行对比，找...

鹅吞千丈

因为线上原因四天课加了一天。 今日总结 完成字符串工具的编写和单元测试 完成时间工具的编写及单元测试 对老师编写的模型理解和解读 完整主业务逻辑代码，成功写入csv到硬盘。

鹅吞千丈

编写MySQL工具类 编写查询MySQL那些文件被处理的记录方法 查询对比两个列表，找出没有被用的工具方法

鹅吞千丈

日志输出模块的开发 配置文件和路径的配完成文件工具单元测试 老师上课还讲了递归

鹅吞千丈

加油(ง •̀_•́)ง

鹅吞千丈

线下课今天第四天，每天七点起床，九点半下晚自习，十点半到住的地方。在做饭，洗刷11点了在学习一小时。 挺好的，加油(ง •̀_•́)ง

鹅吞千丈

明天继续预习，不想浪费钱。

鹅吞千丈

这两天学了面相对象 面相对象的三大特征

鹅吞千丈

今天自己预习python的面向对象。

鹅吞千丈

预习前面的，学面相对象

鹅吞千丈

今天考了试，发现以前忽略一些知识点。 今天补补，还是有一点慌。

鹅吞千丈

我在北京培训，因为疫情暂时还是线上课。 今天基础班结束，交了500占位费。 后天考完试要交2万3，感觉对以后充满恐惧 心里很慌，自己可以坚持下去。(ง •̀_•́)ง 我家境...