240 发简信
IP属地:北京
  • 准备断更了

    准备断更了,感觉好累。虽然账号注册的早,但是参加日更还是最近的事。已经到了每天晚上10点多还在想今天要写些什么,实在没有什么可写的,就把之前记录的一些笔记给搬到简书上来。 最...

  • hdfs 文件统计

    hdfs、hive用一段时间之后,我们会想要知道文件系统里的文件哪些是经常被使用的,哪些是长时间没有被使用。 如果是用mapreduce或者spark生成的文件,会有文件打小...

  • elasticsearch优化思路笔记

    来自网上内容的总结 写入部分 批量写入优于每次写入1条数据。 每批次写入时设置routing为一个随机值,那么这批次数据会写入一个shard。减少写入的shard数量可以减少...

  • 电动车一定更环保吗?

    今天中午午饭后,跟一个同事闲聊。说到了车的事情,他是一台蔚来(之前是指南者)。他对电动车就非常推崇,原因是没有污染。在他的意识里,之前开燃油车的时候每踩一次油门,都有一种负罪...

  • 240
    YARN知识点总结

    如果把大数据Hadoop集群当作一台计算机, 那么 HDFS = 磁盘 YARN = 任务调度器+资源管理器 所有任务都是运行在Yarn上 Yarn分为两个大的模块: Res...

  • hive批量检查 partition是否存在,删除不存在的 partition

    hive表的数据有时会发生partition还在,但是数据已经被删除了的情况。为了找出这些partition,并删除数据已经不存在的partition,做了几个小的脚本。 先...

  • 千万不要点空赞,会受到惩罚的

    俗话说,赠人玫瑰,手留余香。在简书,给文章点赞,对方有收益的同时,自己也获得收益。在我的理解收益是一家一半。当然这与你自己手里的钻,和收益加成卡有绝对关系。有这些东西你才有权...

  • 笔记:新媒体写作套路

    套路一,图、文、题、材、表;时、热、境、粉、知 1,文章本身的五个字——图、文、题、材、表 图——文章配图应该是高清,无水印,能够吸引人眼球,与文章匹配度高,能现场景化文章主...

个人介绍
15年工作经验,大数据架构师。
讲故事能力一般,讲讲初中数学题还行。