QA: trying to load more than 32 hfiles to one family of one region

错误描述

使用MR进行HFile Bulkload时候,发生错误异常信息:
trying to load more than 32 hfiles to one family of one region

解决方法

  • 如使用命令启动,则可用-D指定参数
    hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=1024 <SOURCE> <TABLE>

  • 如使用配置文件形启动式:
    在hbase-site.xml 追加或修改如下配置为合适值:

<property>
        <name>hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily</name>
        <value>32</value>
</property>
  • 其他:
    生成HFile与实际表分区差异较大,load时候需要split,检查生成HFile的方式策略
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,269评论 19 139
  • 该文档是用Hbase默认配置文件生成的,文件源是Hbase-default.xml hbase.rootdir 这...
    我是嘻哈大哥阅读 4,818评论 0 7
  • 初次接触HBase的读者,建议先阅读浅析HBase:为高效的可扩展大规模分布式系统而生 HBase的构成 物理上来...
    耀凯考前突击大师阅读 5,330评论 0 12
  • HBase那些事 @(大数据工程学院)[HBase, Hadoop, 优化, HadoopChen, hbase]...
    分痴阅读 4,037评论 3 17
  • HBase存储架构图 HBase Master 为Region server分配region 负责Region s...
    kimibob阅读 5,662评论 0 52