一个有态度的蜗牛

一．安装编译nginx 1.安装PCRE PCRE 作用是让 Nginx 支持 Rewrite 功能。 下载地址 解压 编译 2.安装1.9.0 nginx nginx1.9...

尼小摩

一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现...

尼小摩

因为首次启动JOB的时候，由于冷启动会造成内存使用太大，为了防止这种情况出现，限制首次处理的数据量 for example: 使用SparkStreaming集成kafka时...

祝威廉

Spark DataSource API 的提出使得各个数据源按规范实现适配，那么就可以高效的利用Spark 的计算能力。典型如Parquet,CarbonData,Post...

Alex90

对一些SparkSQL任务，可以通过缓存数据、调优参数、增加并行度提升性能 缓存数据sqlContext.cacheTable("tableName")或dataFrame....

bobcorbett

首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口： start方法在整个Flume启动时或者初始化组件时都会调用...