The main abstraction Spark provides is a resilient distributed dataset (RDD), which is ...
请教下,java反编译代码是用什么工具生成的呢?
闭包 C++、Java、KotlinWikipedia关于闭包的定义:In programming languages, a closure, also lexical closure or function ...
每当第一次学习一门语言时,都会写个helloWorld程序,spark也不例外,让我们从spark的helloWorld(word count)开始。在github中,spa...
学习使用spark已经一年有余,接下来的时间准备陆续写一些文章,总结spark学习成果。 笔者也读过一些spark书籍,质量参差不齐,多少有些收获吧。在学习spark的伊始,...
最近在Spark学习过程中,遇到了如下的错误: java.util.concurrent.ExecutionException: org.codehaus.commons.c...
最近遇到一些数据分析校验的工作,初识spark。之前一直可以正常跑的程序最近常常出现OutOfMemoryError错误。 初步分析: 打开出现错误的任务,查看出错时的堆栈信...
梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading 本文将从一个下山的场景开始,先提出梯度下降算法的基本思想,进而...
几乎每个程序员都知道要“避免重复发明轮子”的道理——尽可能使用那些优秀的第三方框架或库,但当真正进入开发时,我却经常发现他们有时并不知道那些轮子在哪里。最近,我在业余时间带几...
1 之所以想写这篇文章,是因为之前自己初次使用JIRA的时候,无法在互联网上找到好资料。好不容易看到一个培训课程,还要收费2K+。我想,...
本文总结了spark中的hello world—word count的开发流程。 spark 支持的开发语言有scala,java, python,下面用java语言进行wo...
函数式编程(一) lambda、FunctionalInterface、Method ReferenceStream是Java8最大的亮点,它是对集合对象功能的增强,专注于对...
最近用spark做数据分析,感觉思想上是一样的
函数式编程(二) Stream函数式编程(一) lambda、FunctionalInterface、Method ReferenceStream是Java8最大的亮点,它是对集合对象功能的增强,专注于对...
Spark提供了三种主要的与数据相关的API: RDD DataFrame DataSet 下面详细介绍下各自的特点: RDD 主要描述:RDD是Spark提供的最主要的一个...
由于函数式编程涉及内容较多,因此对函数式编程写一个系列博客,内容从JAVA8的新特性开始阐述,而后阐述函数式编程的写法,最后深入源码讲述函数式编程。函数式编程是一种编程风格,...