今天遇到spark碰到了一个报错，觉得比较奇怪，如下： 可以看出实际input的数据量相当小。 但却会报total size of serialized results of...
发简信
IP属地：吉林
-
即使数据量很小，spark仍报total size of serialized results is bigger than spark.driver.maxResultSize
-
Git 分支与整合策略持续部署的前提是模块化设计、自动化测试和持续集成。使用好 Git 的分支（branch）与整合（integrate）功能，有利于高效率的持续集成。Pro Git 关于 分支 ...
-
Hadoop监控页面查看Hive的完整SQLHadoop监控页面查看Hive的完整SQL hive查询语句如下： select t6.tickerid tickerid, t6.name name, t6.sym...
-
CDH版本的YARN默认调度Fair scheduler 和DRF简述
工作中这个问题碰到好几次了，好多同事对这地方也有点模糊，啥是调度规则(scheduling rule)，啥是调度策略(scheduling policy)，加上CDH本身有个...
-
HBase Region Locality
因为DataNode和RegionServer通常会部署在相同的机器上，所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现...
-
Maven - 打包可执行jar包
打包方法方法一：使用maven-jar-plugin和maven-dependency-plugin方法二：使用maven-assembly-plugin (推荐)方法三：使...
-
hbase之hbase shell
hbase公司用的是阿里云的，有自带的web网页版可以查看相关的一些数据，但是并不能查看具体表中的数据。像mysql，redis等等，都是有一些可视化工具的，redis用cl...
-
Learning Spark——client mode和cluster mode的区别
在使用spark-submit提交Spark任务一般有以下参数： 其中deploy-mode是针对集群而言的，是指集群部署的模式，根据Driver主进程放在哪分为两种方式：c...
