240 发简信
IP属地:上海
  • 数据仓库环境准备二

    一、配置Spark环境变量及将jars中 以下jar包拷贝至hive lib目录中 spark-core_2.12-3.0.0.jar spar...

  • 大数据之Spark

    spark下载地址:https://archive.apache.org/dist/spark/ 一、配置Spark环境变量及将jars中 以下...

  • 大数据之Sqoop

    一、配置 1、mv sqoop-env-template.sh sqoop-env.sh 2、sqoop-env.sh添加: export HA...

  • 大数据之群起脚本

    注:启动群起脚本前给与脚本执行权限:chmod +x 脚本文件名称 一、zookeeper群起脚本 #!/bin/bash case $1 in...

  • 数据仓库环境准备-Hadoop篇

    大数据软件版本说明: hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqo...

  • Hive安装与配置

    一、Home环境变量配置 及mysql安装 二、配置1、3.X版本以上需解决日志jar包冲突 : mv $HIVE_HOME/lib/log4j...

  • flume对接kafka

    一、flume配置1、kafka.conf #name a1.sources = r1 a1.channels = c1 a1.sinks = ...

  • kafka安装配置

    一、解压kafka包与配置home环境 二、server.properties1)broker.id=1022)删除topic功能开启:dele...

  • zookeeper配置

    一、配置1、conf/zoo.cfg1)修改dataDir目录:dataDir=/opt/module/zookeeper/zkData2) 添...