发简信
IP属地：广西
-
spark统一内存管理器UnifiedMemoryManager
在1.6版本之前spark采用静态内存管理器StaticMemoryManager进行内存管理，而在之后spark采用统一内存管理器Unifie...
-
GeoMan模型数据预处理geoman模型基于编解码网络及分层注意力机制设计而成，可以对多源时间序列进行预测。在编码端，引入局部及全局注意力，并将传感器之间的距离作为全局...
-
基于spark随机森林的水质预测
根据水质监测信息预测水质变化趋势，对水环境的有效防范治理具有重要意义。目前水质预测方法主要分为两类，一类为基于污染物在水环境中的理化过程建立的数...
-
java调用python程序
丰富的第三方库使得python非常适合用于进行数据分析，最近在项目中就涉及到java调用python实现的算法。目前，java调用python主...
-
spark源码解析之partitioner
spark中stage的划分依据action算子进行，每一次action（reduceByKey等）算子都会触发一次shuffle过程，该过程涉...
-
spark读写数据仓库
1、使用场景 随着业务及数据量的增长，数据库中的数据大致可以分为两类，一类为操作型数据，另一类为分析型数据。其中，操作型数据通常与日常业务紧密...
-
rdd实现wordcount
1、rdd实现wordcountrdd调用flatMap方法将rdd中每一个元素按空格分割并铺平，再通过map方法组成元组，最后通过reduce...
-
基于spark实现emd算法
emd（empirical mode decomposition）算法广泛用于非平稳时间序列的平稳性处理，其基本原理是将原始序列分解为一系列本征...
-
基于EMD分解与LSTM的空气质量预测作为RNN的一种变体，LSTM广泛用于时间序列的预测。本文结合EMD（empirical mode decomposition）算法及LSTM提...