240 发简信
IP属地:河北
  • 120
    Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查

    问题描述 我们最近有个项目,需要实时消费订单成单的消息,提炼完数据后把结果写入HDFS,因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...

  • 120
    七、使用maven进行测试

    非常感谢大家的支持和鼓励,我会一如既往的坚持下去,为了我自己,更为我爱的人向前冲刺^_^ **/Test*.java **/*Test.java **/*TestCase.j...

  • Java 实现简单的RPC

    [TOC] RPC解析 什么是RPC呢?RPC(Remote Procedure Call)是指远程过程调用,也就是说两台服务器A,B,一个应用部署在A服务器上,想要调用B服...

  • 集群部署

    可能要重新部署zookeeper、storm、flink、spark、hadoop、redis、kafka等集群模式,记录下找到的方法。 java环境变量 下载:sudo w...

  • Linux环境变量总结

    Linux是一个多用户多任务的操作系统,可以在Linux中为不同的用户设置不同的运行环境,具体做法是设置不同用户的环境变量。 Linux环境变量分类 一、按照生命周期来分,L...

  • 120
    Yarn与Mesos的对比

    Mesos和YARN的简介 Mesos和YARN之间的主要区别围绕着优先级的设计以及调度任务的方式。Mesos于2007年诞生于UC Berkeley并在Twitter和Ai...

  • Jena学习笔记(一) RDF

    title: Jena学习笔记(一) RDFdate: 2016/11/26 22:56:02tags: Jenacategories: paper 官方描述:Apache ...

个人介绍
魔都某高校在读研究生,fashion码农
研究方向,大数据处理系统,机器学习系统