2014年10月 序：今年寒暑假、假期有大小不同时期的同学会，熟悉我的同窗都会不约而同提到我的父亲。父亲离开我五年了，一直都想写点有关父亲的文章，可就是很难，只要思绪一放开，...
发简信
IP属地：广东
-
-
HBASE单机安装及基础指令
一、单机模式安装 特点：不依赖于Hadoop的HDFS，配置完既可使用，好处是便于测试。坏处是不具备分布式存储数据的能力。 二、安装配置步骤 1.安装JDK及配置环境变量2....
-
大数据之Hive03-分区partition详解（静态分区，动态分区）一、前言 Hive分区是为了方便数据管理Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际...
-
pandas(Dataframe)里使用lambda匿名函数if..else表达式一、数据需求 原数据如下，现在需求是将收益等于0的补贴为10，需要进行数据转换 二、操作过程 下面使用lambda和if..else进行转换： 三、进一步延申 需求改为：收益...
-
大数据之hive04-HIVE SQL中怎么取最后一条记录
需求 HIVE中怎么取最后一条记录？ 解决方案 使用函数：row_number() over([partition_by_clause] order_by_clause) 原...
-
大数据之hive05-Hive常用日期函数整理
1、to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12');输出：2015-04-02 2、from_unixtime...
-
大数据之hive06-Hive中使用 with as 优化SQL
一、背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQ...
-
大数据hive07-Hive性能优化整理总结大全
一、介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ （1）数据量大不是问题，数据倾斜是个问题。（2）jobs数比较多的作业运行效率相对比较低，比...
