240 发简信
IP属地:上海
  • Hadoop 跨集群复制文件

    hadoop distcp hdfs://源集群活跃NameNodeIP:8020/文件目录 hdfs://目标集群活跃NameNodeIP:8020/文件目录

  • Mac OS megahit安装

    mkdir megahitcd megahit/git clone https://github.com/voutcn/megahit.git .brew install g...

  • 风景美丽,衬托出诗人忧伤的内心世界,表达了诗人对当前生活状态的哀伤的思想感情。

    看风景的心情

    你说你没有看风景的心情 在这绚烂的十一月 灰暗前的回光返照 落幕前的极致舞蹈 是接近绝望的美丽 你任凭这风吹叶落 你且听着雨打花凋 看你 这冷寂的脸 沟沟壑壑 是月末的悼念

  • 120
    Spark学习总结

    Spark相关 Spark是用于大数据处理的集群计算框架,没有使用MapReduce作为执行引擎,而是使用了自研的分布式运行环境(DAG引擎)在集群上执行工作。Spark可以...

  • 孤独意识流

    周六的下午

    现在马里兰好像已经快要进入漫长无趣的冬季。我坐在落地窗前的书桌上,身边包围着滴滴答答落水的夏季T恤衬衫和裙子。我偏爱白色的衬衫,白色的桌布,白色的打印机,白色的厕纸,白色的墙...

  • MemSQL 版本升级

    MemSQL 从5.8升级到6.5升级需要准备两个安装包:memsql-ops-6.5.8.tar.gzmemsql_amd64.tar.gz升级前需要先备份数据库数据,参考...

  • 双网卡上网

    公司用为保证数据安全,需要在公司内网环境下登陆生产/开发环境 但是日常的上网谷歌等行为又需要连接外网进行 在资源有限的情况下,可以安装一个USB无线网卡,通过设置路由,解决一...

  • HDFS shell

    判断是否存在 hdfs dfs -test -e /tmp 判断是否目录 hdfs dfs -test -d /tmp 判断是否文件 hdfs dfs -test -f /t...

  • matplotlib pyplot

    将txt文件数据用python 包画成箱型图 import matplotlib.pyplot as pltimport pandas as pdfrom matplotli...

  • Hadoop 常用信息

    查看block数量,文件数量等集群信息 hadoop fsck / block 元数据大小计算 Object size estimate (bytes) typical si...

  • 重启 cloudera-scm-agent 失败

    # 因为CM出现故障,需要重启CM服务,重启过程中,发现重启cloudera-scm-agent 失败,查找原因后发现是重启用户和权限不符合预期。 # 最终解决方案:用非ro...