240 发简信
IP属地:广东
  • secondary namenode 的作用

    主要作用是解决namenode edit log 过大的问题,定时将namenode的editlog 合并到fsimage

  • 120
    oozie 工作流执行sqoop和spark

    本次将sqoop和spark脚本相结合组成oozie工作流,通过定时计划任务,定期执行。 执行流程图 实施步骤 创建工作流 选择操作 开始创建sqoop 方框添加执行语句即可...

  • Sqoop 拉取数据流程

    考虑离线数据定时从SQL Server 数据库,批量导入到hive数据表。具体执行流程如下: 根据以上执行流程分别创建全量sqoop job,增量sqoop job 具体语句...

  • 120
    基于scala的spark开发环境搭建流程

    开发工具 idea 项目管理工具 Maven 搭建步骤 参考链接: https://blog.csdn.net/u013963380/article/details/7267...

  • 120
    pycharm 连接远端spark 进行调试

    在使用python进行spark进行开发时,本地调试总是很麻烦的一件事。如果有办法直接在服务器进行调试的话,那将非常方便我们的开发。那有没有呢?还真别说,借助pycharm ...

  • kettle 安装在windows 10 ,hadoop 集群 安装在 centos,按步骤操作时出现以下错误:ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z ,大神有没有遇到过?

    使用kettle执行mapreduce

    使用kettle执行mapreduce# 机器:192.168.9.157 10G内存,4核CPU,centos6.5 hadoop版本:2.7.3 pdi:8.0 目的 使...

  • 120
    Hadoop 分布式文件系统

    HDFS的设计目标 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多...

  • MySQL server has gone away 的原因分析

    MySQL服务器消失的最常见原因是服务器超时并关闭了连接。在这种情况下,您通常会得到以下错误代码之一(您获得的错误代码与操作系统相关)。 默认情况下,如果没有发生任何事情,服...

  • mysql int(10)字段说明

    1、基础知识 1.1mysql 数字类型种类和存储范围 MySQL支持SQL标准整数类型INTEGER(或INT)和SMALLINT。作为标准的扩展,MySQL还支持整数类型...

  • php单元测试之simpletest

    了解单元测试 单元测试是由程序员自己来完成,最终受益的也是程序员自己。可以这么说,程序员有责任编写功能代码,同时也就有责任为自己的代码编写单元测试。执行单元测试,就是为了证明...