枫叶无言_1997

一、配置Spark环境变量及将jars中 以下jar包拷贝至hive lib目录中 spark-core_2.12-3.0.0.jar spark-kvstore_2.12-...

枫叶无言_1997

spark下载地址:https://archive.apache.org/dist/spark/ 一、配置Spark环境变量及将jars中 以下jar包拷贝至hive lib...

枫叶无言_1997

一、配置 1、mv sqoop-env-template.sh sqoop-env.sh 2、sqoop-env.sh添加: export HADOOP_COMMON_HOM...

枫叶无言_1997

注：启动群起脚本前给与脚本执行权限:chmod +x 脚本文件名称 一、zookeeper群起脚本 #!/bin/bash case $1 in "start") { for...

枫叶无言_1997

大数据软件版本说明: hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3...

枫叶无言_1997

一、Home环境变量配置 及mysql安装 二、配置1、3.X版本以上需解决日志jar包冲突 : mv $HIVE_HOME/lib/log4j-slf4j-impl-2.6...

枫叶无言_1997

一、flume配置1、kafka.conf #name a1.sources = r1 a1.channels = c1 a1.sinks = k1 #source a1.s...

枫叶无言_1997

一、解压kafka包与配置home环境 二、server.properties1)broker.id=1022)删除topic功能开启:delete.topic.enable...

枫叶无言_1997

一、配置1、conf/zoo.cfg1)修改dataDir目录:dataDir=/opt/module/zookeeper/zkData2) 添加以下几个节点: server...

枫叶无言_1997

一、安装1)安装httpd服务与php: sudo yum -y install httpd php2)安装其他依赖:sudo yum -y install rrdtool ...

枫叶无言_1997

依赖: <groupId>org.apache.flume flume-ng-core <version>1.9.0</version> 一、interceptor自定义pu...

枫叶无言_1997

一、安装netcat工具1、sudo yum install -y nc2、检查44444端口是否被占用: sudo netstat -tunlp | grep 44444 ...

枫叶无言_1997

一、shell命令 1、移动本地文件至hdfs：hadoop fs -moveFromlocal 本地路径 存储路径2、复制本地文件至hdfs：hadoop fs -copy...

枫叶无言_1997

配置环境: centos 7.6 jdk version:1.8.0_171 hadoop version:2.9.2 主机1名称:hadoop101 端口号测试连通...