发简信
IP属地：北京
-
java在线诊断神器-Arthas-试用札记笔者闲逛开源中国，偶遇“开源中国 2018 年度榜单之国产新秀榜”之top1-Arthas，遂观之。阅后兴奋不已，此乃上古神器也。神器流落凡间，...
-
spark之Failed to create local dir那点事
近日莫名遭遇异常一枚，如下： 原因分析：1 Failed to create local dir，什么时候spark会创建临时文件呢？shuff...
-
性能优化笔记(一)概述：笔者近期接受一个大数据项目的性能优化，为期两周，2.6万/s的日志处理速度提升至需求目标值5万/s。从整理项目流程阅读代码到性能优化目标实...
-
设计模式之合成（Composite）模式
场景：数据流向：kafka-->spark-->es。其中spark数据处理会有过滤，etl等步骤，需求不同，搭配不同。如A场景需要过滤+etl...
-
Spark的那些事(四) java操作kudu全示例(含sparksql)
上文提到，使用kudu等列式存储将数据以update模式写入kudu.下面说一下java操作kudu的相关demo。java操作kudu在git...
-
spark的那些事(三) Structured streaming 窗口期内存数据的查询
之前的文章中提过，structured streaming处理流数据，如果使用聚合，将会有window的概念，对应属性watermark.不知你...
-
Spark的那些事(二)Structured streaming中Foreach sink的用法
Structured streaming默认支持的sink类型有File sink，Foreach sink，Console sink，Memo...
-
Spark的那些事（一）Spark是一个快速的集群化的实时计算系统。支持Java, Scala, Python 和R语言的高级API。 一 Spark生态： 支持Spa...
-
dropwizard微服务实践
一 Dropwizard是什么？Dropwizard是一个跨越了库和框架的界限，他的目标是提供一个生产就绪的web应用程序所需的一切性能可靠的实...