@哎呦不错哦_1e97 可以啊，你直接save到off heap就好了，用的时候从offheap里面load
Spark OFF_HEAP在文章的开头，安利一下我自己的github上的一个项目：AlluxioBlockManager，同时还有我的github上的博客：blog这个项目的作用是替代Spark2.0...
发简信
IP属地：甘肃
-
-
让关系型数据库查询再飞一会儿
背景 有一个系统的业务正在膨胀中，某一些报表（报表数据在mysql中）数据量增长比较厉害，报表页面已经处于卡爆了的状态。中间经过mysql本身的优化，已经到了当前系统架构+存...
-
【Data Flow】The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost i...正文之前 终于翻译完了，可以开始看论文了，开心啊。。。。。。 正文 Event time for a given event essentially never change...
-
@丑牛_f27e 准确率的问题啊，你可以对比一下同样的分类器在预测优化前后有没有这么大的差别
让Spark MLlib的预测性能再飞一会儿
背景介绍 我们的系统有一小部分机器学习模型识别需求，因为种种原因，最终选用了Spark MLlib来进行训练和预测。MLlib的Pipeline设计很好地契合了一个机器学习流...
-
@ShengX 。 你先看看你的spark对应版本里面的随机森林的预测方法是怎么写的。优美图这个方法吧，看看里面怎么写的，依葫芦画瓢就好了。
让Spark MLlib的预测性能再飞一会儿
背景介绍 我们的系统有一小部分机器学习模型识别需求，因为种种原因，最终选用了Spark MLlib来进行训练和预测。MLlib的Pipeline设计很好地契合了一个机器学习流...
-
@丑牛_f27e pipeline的设计就是基于dataset的批处理，我在文中写的绕开pipeline就是要绕开用dataset
让Spark MLlib的预测性能再飞一会儿
背景介绍 我们的系统有一小部分机器学习模型识别需求，因为种种原因，最终选用了Spark MLlib来进行训练和预测。MLlib的Pipeline设计很好地契合了一个机器学习流...
-
@丑牛_f27e 有没有试过这篇文章的办法？
让Spark MLlib的预测性能再飞一会儿
背景介绍 我们的系统有一小部分机器学习模型识别需求，因为种种原因，最终选用了Spark MLlib来进行训练和预测。MLlib的Pipeline设计很好地契合了一个机器学习流...
-
让Spark MLlib的预测性能再飞一会儿
背景介绍 我们的系统有一小部分机器学习模型识别需求，因为种种原因，最终选用了Spark MLlib来进行训练和预测。MLlib的Pipeline设计很好地契合了一个机器学习流...
-
是这样设置的。但至于你的程序为什么会越跑越慢最后挂了，这个根据你的具体情况分析了，可能不是因为checkpoint的关系。
spark streaming应用一个越跑越慢的bug
题记： 这是我的第一篇技术博文，写得不好请多提意见。然后，感谢张志斌老师，毕业之前张老师帮助我解一些“神奇的bug”，现在毕业一个月，我终于自己开始解自己认为“神奇的bug”...
-
上帝的骰子游戏
概率是一个很有意思的东西，通过上帝投掷出来的骰子，你能猜到上帝的意图。这是一篇白话瞎文，并不是特别严谨。 概率的两大学派 概率有两大学派：概率学派，贝叶斯学派。“可悲”的是，...
-
word2vec在学历造假中的探索
前言 如果你想了解word2vec的原理，这篇文章并不适合你，出门右转用google。 这篇文章的东西含金量不高，希望搞NLP，ML，DL的专业人士轻拍。 因为含金量不高，所...
-
变参调用：scala和java的一个不同点
scala和java几乎没有区别，可以互相调用。注意这里说的是几乎，总有那么少数，出人意料的惊喜在告诉你，scala就是scala。 一个例子 如上所示，这个例子很简单，把一...
-
Graphx 源码剖析-图的生成
Graphx的实现代码并不多，这得益于Spark RDD niubility的设计。众所周知，在分布式上做图计算需要考虑点、边的切割。而RDD本身是一个分布式的数据集，所以，...
-
@疯狂的轻骑兵 soga，看来文档现在很完备了啊。。
spark streaming应用一个越跑越慢的bug
题记： 这是我的第一篇技术博文，写得不好请多提意见。然后，感谢张志斌老师，毕业之前张老师帮助我解一些“神奇的bug”，现在毕业一个月，我终于自己开始解自己认为“神奇的bug”...
-
Flume介绍声明 我对Flume的研究并不深，这一篇文章来源于2016年3月的某一个下午对Flume的调研，仅有一个下午，所以可能有一些观点是不对的。另外，文章很多内容来源于一些大神的博...
-
Spark OFF_HEAP
在文章的开头，安利一下我自己的github上的一个项目：AlluxioBlockManager，同时还有我的github上的博客：blog这个项目的作用是替代Spark2.0...
