IP属地：北京
-
对数收益率推导过程
收益率计算公式： ( 期末资产 - 期初资产 ) / 期初资产对数收益率：ln ( 期末资产 / 期初资产 )Rt 指日收益率 ； Pt 指...
-
【数仓】sqoop踩坑记录
import 从mysql导出时select column不能声明字段的导出顺序，只能起到筛选作用。 import 严格按照mysql字段的存储...
-
一种图结构的数据可视化方法GraphStream是构建在Spark GraphX之上的第三方图可视化工具。它虽然不属于Spark项目，但对GraphX的支持很好，而且和G...
-
基于GraphFrames的图计算方法
Spark生态有GraphX的图计算模块。但它有诸多缺点： 性能差，不能从DataFrame和Catalyst查询优化器提供的性能改进中受益。 ...
-
【数仓】spark工作原理与阶段划分
概念解释： Driver和Executor是Spark作业的工作进程，两者是协作关系，前者负责调度，后者负责执行。application / j...
-
【数仓】Hive数仓的explode()炸裂函数详解
我们知道数仓不满足第一范式，也就是说数仓中的字段是可再分的，不满足原子性，即DDL可以定义一个字段类型为数组。因此才有了explode()函数，...
-
【数仓】对比spark-hive的两种分布式计算模式
最近在学习过程中发现SparkSQL、Hive on Spark、Spark on Hive是非常容易混淆的的概念。了解三者的关系前，先要先明白...
-
【后端】Nginx反向代理后获取客户端真实IP地址
用Nginx反向代理后，原先的HttpServletRequest获取到的ip地址变成了反向代理服务器的地址。 要获取客户端的真实ip，修改ng...