240 发简信
IP属地:广东
  • [HDFS] 文件系统的小文件判定和合并问题

    1 判定是否有小文件存在 分析:<1> 判定当前路径是否存在以及当前路径是目录而不是某具体文件。<2> RemoteIterator<LocatedFileStatus> ...

  • Hive数据倾斜(大表join大表)

    业务背景 用户轨迹工程的性能瓶颈一直是etract_track_info,其中耗时大户主要在于trackinfo与pm_info进行左关联的环节,trackinfo与pm_i...