1.背景 公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hi...
IP属地：北京
-
MMA安装及使用优化 -
一个实战让你搞懂Dockerfile
摘要 在认识Dockerfile的基础功能之后，即一个用基础镜像来构建新镜像的文本文件，就需要在实际工作中使用其灵活便利的操作来提升我们的工作效率了，这里演示在Tomcat里...
-
YARN线上动态资源调优
背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn...
-
11.Flink实时项目之支付宽表
支付宽表 支付宽表的目的，最主要的原因是支付表没有到订单明细，支付金额没有细分到商品上， 没有办法统计商品级的支付状况。 所以本次宽表的核心就是要把支付表的信息与订单明细关联...
-
Dockerfile入门
1.Dockerfile介绍 在之前Docker的使用中，我们直接从仓库下载需要的镜像到本地，然后稍加配置就可以应用了，通常从仓库下载下来的镜像都是通用的，无任何私有化的东西...
-
10.Flink实时项目之订单维度表关联1. 维度查询 在上一篇中，我们已经把订单和订单明细表join完，本文将关联订单的其他维度数据，维度关联实际上就是在流中查询存储在 hbase 中的数据表。但是即使通过主键的...
-
Docker提交镜像-数据卷-可视化在熟悉完Docker的安装及基本命令使用之后，我们开始学习下Docker的进阶操作：包括但不限于新建Docker镜像，数据卷的挂载，以及Docker的可视化等。 Docker...
-
mysql还是hbase的，什么报错？还得看配置，还有权限什么的
5.Flink实时项目之业务数据准备
1. 流程介绍 在上一篇文章中，我们已经把客户端的页面日志，启动日志，曝光日志分别发送到kafka对应的主题中。在本文中，我们将把业务数据也发送到对应的kafka主题中。 通...
-
9.Flink实时项目之订单宽表1.需求分析 订单是统计分析的重要的对象，围绕订单有很多的维度统计需求，比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便，减少大表之间的关联，所以在实时计算过程...
-
Docker安装与基本命令使用
Docker在CentOS上的安装 官方文档：https://docs.docker.com/engine/install/centos/[https://docs.dock...
-
8.Flink实时项目之CEP计算访客跳出
1.访客跳出明细介绍 首先要识别哪些是跳出行为，要把这些跳出的访客最后一个访问的页面识别出来。那么就要抓住几个特征： 该页面是用户近期访问的第一个页面，这个可以通过该页面是否...
-
7.Flink实时项目之独立访客开发1.架构说明 在上6节当中，我们已经完成了从ods层到dwd层的转换，包括日志数据和业务数据，下面我们开始做dwm层的任务。 DWM 层主要服务 DWS，因为部分需求直接从 ...
-
HDFS免重启挂载新磁盘
背景 在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘就会被打满，然后这个节点就不健康了（Unhealthy...
-
6.Flink实时项目之业务数据分流
在上一篇文章中，我们已经获取到了业务数据的输出流，分别是dim层维度数据的输出流，及dwd层事实数据的输出流，接下来我们要做的就是把这些输出流分别再流向对应的数据介质中，di...
-
5.Flink实时项目之业务数据准备1. 流程介绍 在上一篇文章中，我们已经把客户端的页面日志，启动日志，曝光日志分别发送到kafka对应的主题中。在本文中，我们将把业务数据也发送到对应的kafka主题中。 通...
-
4.Flink实时项目之日志数据拆分
1. 摘要 我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日...
-
3.Flink实时项目之流程分析及环境搭建1. 流程分析 前面已经将日志数据（ods_base_log）及业务数据（ods_base_db_m）发送到kafka，作为ods层，接下来要做的就是通过flink消费ka...
-
2.Flink实时项目之Maxwell介绍
1. Maxwell介绍 Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取 MySQL 二进制日志 Binlog，并...
-
1.Flink实时项目之前期准备1.日志生成项目 日志生成机器：hadoop101 jar包：mock-log-0.0.1-SNAPSHOT.jar gmall_mock 项目地址：https://gith...
-
VMWare12 + centos7安装1.打开并创建虚拟机 2.自定义安装 3.选择稍后安装操作系统 4.操作系统的选择 5.虚拟机位置与命名 6.根据设备配置高低，自行设置资源 在使用过程中CPU不够的话是可以...