10篇文章 · 7371字 · 1人关注
-
如何避免Spark SQL做数据导入时产生大量小文件什么是小文件？ 生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存...
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(versio...
-
Spark 2.3.1测试笔记二：SortExec性能测试1
前言 本例基于1 Spark 2.3.0测试笔记一：Shuffle到胃疼 2 Spark 2.3.0测试笔记二：还能不能玩了？ 3 Spark ...
-
ACL Management for Spark SQL
ACL Management for Spark SQL Three primary modes for Spark SQL authoriza...
-
Spark 2.3.1测试笔记一：问题依旧在？1 前言 基于spark2.3.0的简单性能测试分析已经进行两轮，结果并不是十分满意，总体而言就是Bug多多，性能有regression，兼容性...
-
Spark 2.3.0测试笔记二：还能不能玩了？1 前言 基于Spark 2.3.0测试笔记一：Shuffle到胃疼的初步测试结论，由于未经声明的参数行为变化， 2.3.0的性能对比惨到不行。...
-
Spark 2.3.0测试笔记一：Shuffle到胃疼1 前言 最近有想法将生产用的spark2.1.x版本的基线上调至spark2.3系列，在此基础上维护一个相对稳定的生产版本，以满足用户日益增长...
-
Spark Authorizer支持最新版本Spark 2.3.0
今天Spark社区为大家带来了最新的Spark 2.3.0 Spark Release 2.3.0Apache Spark 2.3.0 is t...
-
Spark Authorizer has been added to spark-packages.orgCreate New Package - SUCCESS Here's the letter of confirmation from the ...
文集作者