HBase之数据迁移

由于公司前期没法及时提供生成环境的服务器,导致现有的业务开发在现有的服务器进行,HBase相关的数据在后期需要迁移到新的环境里。HBase数据迁移方式有以下几种:

CopyTable方式☞

hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] tablename

操作:

  • starttime 执行时间范围的开始时间,未指定endtime则为读取starttime之后的所有数据
  • endtime 执行时间范围的结束时间,未指定starttime则为第一条数据入库的时间到endtime之间的所有数据
  • new.name 用于copytable时指定你要拷贝后的新表名称
  • peer.adr 指定集群zookeeper地址
  • tablename 为要复制的表明
案例:将old_table表中的数据迁移到new_table表中
./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=gs-yy-slave1,gs-yy-slave2,gs-yy-slave3:2181:/hbase --new.name=new_table old_table

Export/Import 方式☞

格式:
  • bin/hbase org.apache.hadoop.hbase.mapreduce.Export testtable /user/testtable [versions] [starttime] [stoptime]
  • bin/hbase org.apache.hadoop.hbase.mapreduce.Import testtable /user/testtable
步骤:
①在old cluster上执行:
./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test
②在new cluster上执行:
./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test

说明:

①一定要写全路径,不能写相对路劲;

②在import前,需要将表事先在new cluster中创建好.

③以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法

快照方式☞

生成快照:
hbase> snapshot 'myTable','myTableSnapshot-20170727'
列出当前所有得快照:
hbase> list_snapshots
删除快照信息:
hbase> delete_snapshot'myTableSnapshot-20170727'
基于快照,clone一个新表:
hbase> clone_snapshot'myTableSnapshot-20170727', 'myNewTestTable'
基于快照恢复表:
hbase> disable 'myTable'
hbase> restore_snapshot'myTableSnapshot-20170727'
导出到另外一个集群中:
 $bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot myTableSnapshot-20170727 -copy-to hdfs:///srv2:8082/hbase -mappers 16  

案例☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞☞

 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot user_data_snapshot -copy-to hdfs://192.168.1.45/hbase/ -mappers 8

直接拷贝hdfs对应的文件☞

首先拷贝hdfs文件
bin/hadoop distcp hdfs://192.168.1.45/hbase/testtable/ hdfs://192.168.1.45/hbase/testtable/
然后在目的hbase上执行
bin/hbase org.jruby.Main bin/add_table.rb /hbase/testtable
生成meta信息后,重启hbase

这个操作是简单的方式,操作之前可以关闭hbase的写入,执行flush所有表(上面有介绍),再distcp拷贝。

案例☞

create 'user_data',{NAME => 'info', VERSIONS => 2}
Export/Import
hbase org.apache.hadoop.hbase.mapreduce.Export user_data hdfs://192.168.1.45/user/gaoht/user_data

hbase org.apache.hadoop.hbase.mapreduce.Import user_data hdfs://192.168.1.45/user/gaoht/user_data
snapshot快照方式
bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot user_data_snapshot -copy-to hdfs:///srv2:8082/hbase -mappers 8
操作:
hbase> snapshot 'myTable','user_data_snapshot'
列出当前所有得快照:
hbase> list_snapshots
删除快照信息:
hbase> delete_snapshot'user_data_snapshot'
基于快照,clone一个新表:
hbase> clone_snapshot'user_data_snapshot', 'myNewTestTable'
基于快照恢复表,它需要先禁用表,再进行恢复:
hbase> disable 'myTable'
hbase> restore_snapshot'user_data_snapshot'
案例:将表创建一个快照 然后将快照copy到新集群相应的位置进行恢复这个表数据
snapshot 'user_data', 'user_data_snapshot'

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot user_data_snapshot -copy-to hdfs://new_cluster/hbase/ -mappers 8

相关文章1☞
相关文章2☞
相关文章3☞
相关文章4☞


>>记录学习过程,文章中如有错误或不妥之处,请留言!<<
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,616评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,020评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,078评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,040评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,154评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,265评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,298评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,072评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,491评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,795评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,970评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,654评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,272评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,985评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,815评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,852评论 2 351