发简信
IP属地：浙江
-
spark程序jar与spark lib jar冲突，加载顺序
用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（ja...
-
maven 编译错误 org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)
最近新接触scala代码的编写、编译，使用mvn编译项目时经常碰到“ExecuteException: Process exited with ...
-
Janusgraph Spark yarn-client模式批量导入配置
Janusgraph是一个分布式图数据库，继承自titan。Janusgraph的批量导入（bulkload）默认使用spark的local模式...
-
spark1.5.x升级spark2.1.1代码改动
背景 公司一直用spark1.5.2, 最近将其升级至spark2.1.1。本文的总结升级过程需要改动的地方。涉及了spark普通项目和spar...
-
Java synchronized 实现唯一单例在初始化数据库连接、hbase连接时，我们通常希望复用连接，而不是每次使用时都new 一个实例。也就是说一个hbase表名对应一个hbase c...
-
hadoop distcp hftp hdfs跨集群拷贝常见问题归总在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1， 记录所...
-
KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V问题 在初用spark streaming 1.5.2 自带的low level 连接kafka例子（JavaDirectKafkaWordCo...
-
spark 资源大小分配与并行处理起因 写这篇博客的起因我在跑一个spark job时，有时能跑通，有时跑不通。程序的需求是对比两个hbase表。程序逻辑很简单，分别从两个hba...