2014年10月 序：今年寒暑假、假期有大小不同时期的同学会，熟悉我的同窗都会不约而同提到我的父亲。父亲离开我五年了，一直都想写点有关父亲的文章，可就是很难，只要思绪一放开，...
发简信
IP属地：广东
-
我的父亲 -
对话心灵
-
关不住的灵魂
一间古屋，也许能囚禁一个人的身躯，但无法禁锢一个人的灵魂。 你束缚的只是我的皮囊，而我的心早就飞出很远很远。你所看到的，不过是一具肉身，一摊皮囊，你可以谩骂，可以嘲笑。如...
-
HBASE单机安装及基础指令
一、单机模式安装 特点：不依赖于Hadoop的HDFS，配置完既可使用，好处是便于测试。坏处是不具备分布式存储数据的能力。 二、安装配置步骤 1.安装JDK及配置环境变量2....
-
大数据之Hive03-分区partition详解（静态分区，动态分区）一、前言 Hive分区是为了方便数据管理Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际...
-
pandas(Dataframe)里使用lambda匿名函数if..else表达式一、数据需求 原数据如下，现在需求是将收益等于0的补贴为10，需要进行数据转换 二、操作过程 下面使用lambda和if..else进行转换： 三、进一步延申 需求改为：收益...
-
大数据之hive04-HIVE SQL中怎么取最后一条记录
需求 HIVE中怎么取最后一条记录？ 解决方案 使用函数：row_number() over([partition_by_clause] order_by_clause) 原...
-
大数据之hive05-Hive常用日期函数整理
1、to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12');输出：2015-04-02 2、from_unixtime...
-
大数据之hive06-Hive中使用 with as 优化SQL
一、背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQ...
-
大数据hive07-Hive性能优化整理总结大全
一、介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ （1）数据量大不是问题，数据倾斜是个问题。（2）jobs数比较多的作业运行效率相对比较低，比...
-
机器学习01：k-近邻算法（KNN）浅析1.前言 众所周知，电影可以按照题材分类，然而题材本身是如何定义的？由谁来判定某部电影属于哪个题材？也就是说同一题材的电影具有哪些公共特征？这些都是在进行电影分类时必须要考虑...
-
量化投资04：python数据分析上证综指前言 上一节给大家分享了Tushare提供的免费数据接口，可以获取金融数据，本节给大家分享其更多的指标数据。不过有些接口数据Tushare需要积分才能使用，估计是Tushar...
-
SQL进阶01：rank排名函数前言 mysql免费开源，相信做数据的同学基本都会接触到此数据库。那给一些数据进行排名，是我们在数据处理过程中很常见的事情，但是mysql没有直接的rank排名函数，如何解决...
-
量化投资03：使用python采集金融数据引言 欲先善其事，必先利其器，不管是做数据分析还是量化交易，首先要获得数据，否则，巧妇难为无米之炊嘛，今天就给大家分享两种使用python库采集金融数据的方法。 1. pan...
-
R语言数据分析图表01：plot函数画散点图1.R语言的图形能力 1.大量的画图函数2.丰富的扩展包，部分的功能超越商业软件3.没有昂贵的许可证费用4.网上散布有大量的样例资源，很多数据分析或数据可视化类的著作都采用R...
-
大数据之Hive02：Hive的安装配置实现步骤 1.首先保证电脑上linux系统或虚拟机配置JDK和Hadoop（此处属于hadoop的安装知识，此处不做讲解，可自行百度） 2.下载Hive安装包链接：https...
-
大数据之Hive01：Hive基本介绍1.为何使用Hive （1）最主要就是涉及Hadoop开发的问题，因为hadoop只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。（2）需...
-
量化投资02：Python图表展现收益之牛刀小试案例示范： 接上节案例，我们考虑设置不同的年利率，看看不同的年利率与对应的年收益之间的关系是如何变化的。我们设置四种不同的利率：5%、10%、15%、20%。 话不多说，直接...
-
👍厉害
Tableau数据分析图表01：漏斗图
一、漏斗图 漏斗图适用于业务流程比较规范、周期长、环节多的流程分析，通过漏斗各环节业务数据的比较，能够直观地发现和说明问题所在。 步骤： 1、打开 Tableau Deskt...
-
👍
量化投资01：我是如何成为“亿万富翁”的
案例示范 假设有一位年轻人，每年定期存款1.4万元，享受平均5%的利率，如此持续40年，他可以积累的财富为多少呢？如果年轻人将每年应存的钱全部投资到股票或房地产市场，并假定能...
