Yobhel

一、生成 ssh 二、链接gitlab 将public key粘贴到gitlab下图位置，并保存 三、链接github 将public key粘贴到github下图位置，并保...

Yobhel

1、 说明 linux与mac ox系统，shell类型默认都是bash, 在使用时候预发提示，页面美观等都不够强大，后来诞生了zsh，但zsh配置复杂，就有人在zsh基础开...

Yobhel

1 Hive on Spark配置 （1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2....

Yobhel

1 集群角色 2 Flink集群搭建 2.1 集群启动 0）集群规划 节点服务器hadoop101hadoop102hadoop103角色JobManagerTaskMana...

Yobhel

第1章 DolphinScheduler简介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工...

Yobhel

1 数据通道 2 Maxwell配置默认情况下，Maxwell会同步binlog中的所有表的数据变更记录，按照规划，有cart_info、order_info等共计11张表需...

Yobhel

1. 数据通道 全量表数据由DataX从MySQL业务数据库直接同步到HDFS，具体数据流向如下图所示。 2 DataX配置文件我们需要为每张全量表编写一个DataX的jso...

Yobhel

第1章 Maxwell简介 1.1 Maxwell概述 Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据...

Yobhel

第1章 DataX简介 1.1 DataX概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、H...

Yobhel

集群规划服务器hadoop102服务器hadoop103服务器hadoop104Flume（消费Kafka）Flume 1 项目经验之Flume组件选型 1）FileChan...

Yobhel

1.日志采集Flume安装 详情见：https://www.jianshu.com/p/a2590b997e8e?v=1698800791912[https://www.ji...

Yobhel

一、Hadoop部署 集群部署规划 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 注意：ResourceManager也很消耗内存，不要和...

Yobhel

一、卸载现有JDK rpm -qa：表示查询所有已经安装的软件包 grep -i：表示过滤时不区分大小写 xargs -n1：表示一次获取上次执行结果的一个值 rpm -e ...

Yobhel

一、 虚拟机环境准备 1）准备三台虚拟机，虚拟机配置要求如下： （1）单台虚拟机：内存 4G，硬盘 50G （2）修改克隆虚拟机的静态 IP 改成 （3）查看 Linux ...