添加以下设置：@WebAppConfiguration@RunWith(SpringJUnit4ClassRunner.class)@Conte...

Spark中一个非常难以理解的概念，就是在集群中分布式并行运行时操作的算子外部的变量的生命周期 通常来说，这个问题跟在RDD的算子中操作作用域外...

默认的配置属性 spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark...

使用spark-submit提交spark应用 将我们的spark工程打包好之后，就可以使用spark-submit脚本提交工程中的spark应...

spark工程打包与spark-submit的关系 我们在eclipse编写代码，基于spark api开发自己的大数据计算和处理程序将我们写好...

yarn模式运行spark作业所有属性详解

yarn模式下调试运行中的spark作业 在yarn模式下，spark作业运行相关的executor和ApplicationMaster都是运行...

样例类的提取器 scala中的样例类，说白了，也很简单类似于java中的javabean，java中的JavaBean，是什么东东？ 包含了一堆...

提取器 apply方法 伴生类和伴生对象的概念，companion class和companion object伴生对象里面，可以定义一个app...