时刻保持思考和思考本身。
发简信
IP属地：浙江
-
hive/impala使用列式存储追加一列数据的可行性我们知道parquet文件格式是不能进行update操作的。但是是否可以对其进行添加一列数据呢？ 先看看parquet文件长什么样 Parquet文件是以二进制方式存储的，是...
-
TypeSafe Config
Typesafe的Config库，纯Java写成、零外部依赖、代码精简、功能灵活、API友好。支持Java properties、JSON、JSON超集格式HOCON以及环境...
-
Spark On Yarn 如何提高CPU利用率问题描述： Spark on Yarn是利用yarn进行资源调度，这两天我写的一个程序处理大概100W行文本，文本格式是txt，数据大小为50M左右。我将Scala写的...
-
丁克20年，我快绝经了，他当爸了-1- 我出生于72年，现在已经是个老阿姨了。 26岁时，我嫁给当时苦追了我多年的高中同学王鹏。 王鹏的父母对他要求非常严苛，在我们眼里已经是学霸级的人物，但还会因成绩没有达...
-
浙大学霸作息表曝光：世界本不公平，你有多努力，就有多特殊头等舱可以优先登机， 银行VIP可以免排队， 演唱会最贵的门票位置最好， ...... 这个世界，似乎从来不平等。 但是，你有多努力，就有多特殊！ 这个道理，一定要尽早让孩子...
-
-
spark中的partition和block的关系
作者：郭众鑫 链接：https://www.zhihu.com/question/37310539/answer/71417604 来源：知乎 著作权归作者所有。商业转载请联...
-
spark中job，stage，task的关系
Stage 是spark 中一个非常重要的概念 ， 在一个job 中划分stage 的一个重要依据是否有shuflle 发生 ，也就是是否会发生数据的重组 （重新组织数据）。...
-
Spark中File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系
输入可能以多个文件的形式存储在HDFS上，每个File如果过大，会被拆分成很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFo...
-
MapReduce中的map个数
准确的说，map个数是指map task的个数，map task可以看作进程，并发执行一个job任务。 在map阶段读取数据前，FileInputFormat会将输入文件分割...
-
对spark中RDD的partition通俗易懂的介绍
我们要想对spark中RDD的分区进行一个简单的了解的话，就不免要先了解一下hdfs的前世今生。 众所周知，hdfs是一个非常不错的分布式文件系统，这是这么多年来大家有目共睹...
-
YARN上显示应用程序使用的vcores、memory不准确？本文基于Spark2.1.0版本 我们知道，使用yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者...
