Ceph的RBD文档

（一）基本操作

1.创建pool

'''

通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：

若少于5个OSD，设置pg_num为128。

5~10个OSD，     设置pg_num为512。

10~50个OSD，  设置pg_num为4096。

超过50个OSD， 可以参考pgcalc计算。

'''

[root@k-master mnt]# ceph osd lspools

1 rbd,3 ceph,4 k8s,6 ceph-demo,7 ceph-tt,

[root@k-master mnt]# ceph osd pool create rbd-test 128

pool 'rbd-test' created

[root@k-master mnt]# ceph osd lspools

1 rbd,3 ceph,4 k8s,6 ceph-demo,7 ceph-tt,8 rbd-test,

[root@k-master mnt]# rados df

POOL_NAME USED    OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS RD      WR_OPS WR

ceph          0B      0      0      0                  0      0        0      0      0B      0      0B

ceph-demo 37.8MiB      28      0    56                  0      0        0  3018 14.6MiB    947  136MiB

ceph-tt        0B      0      0      0                  0      0        0      0      0B      0      0B

k8s            0B      0      0      0                  0      0        0      0      0B      0      0B

rbd      8.86MiB      24      0    48                  0      0        0  59577 39.2MiB    90 4.43MiB

rbd-test      0B      0      0      0                  0      0        0      0      0B      0      0B

total_objects    52

total_used      3.11GiB

total_avail      11.9GiB

total_space      15.0GiB

[root@k-master mnt]#

2.创建image

[root@k-master mnt]# rbd -p rbd-test ls

[root@k-master mnt]# rbd -p rbd-test create rbd --size 1G

[root@k-master mnt]# rbd -p rbd-test ls

rbd

[root@k-master mnt]# rbd -p rbd-test info rbd

rbd image 'rbd':

        size 1GiB in 256 objects

        order 22 (4MiB objects)

        block_name_prefix: rbd_data.855f6b8b4567

        format: 2

        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten

        flags:

        create_timestamp: Mon Jul 27 11:01:34 2020

[root@k-master mnt]#

3.映射image

[root@k-master mnt]# rbd map -p rbd-test rbd

rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd-test/rbd object-map fast-diff deep-flatten".

In some cases useful info is found in syslog - try "dmesg | tail".

rbd: map failed: (6) No such device or address

[root@k-master mnt]# rbd feature disable rbd-test/rbd object-map fast-diff deep-flatten

[root@k-master mnt]# rbd map -p rbd-test rbd

/dev/rbd2

4.格式化

[root@k-master mnt]# mkfs.ext4 /dev/rbd2

mke2fs 1.42.9 (28-Dec-2013)

Discarding device blocks: done

Filesystem label=

OS type: Linux

Block size=4096 (log=2)

Fragment size=4096 (log=2)

Stride=1024 blocks, Stripe width=1024 blocks

65536 inodes, 262144 blocks

13107 blocks (5.00%) reserved for the super user

First data block=0

Maximum filesystem blocks=268435456

8 block groups

32768 blocks per group, 32768 fragments per group

8192 inodes per group

Superblock backups stored on blocks:

        32768, 98304, 163840, 229376

Allocating group tables: done

Writing inode tables: done

Creating journal (8192 blocks): done

Writing superblocks and filesystem accounting information: done

[root@k-master mnt]# fdisk -l | grep rbd2

Disk /dev/rbd2: 1073 MB, 1073741824 bytes, 2097152 sectors

[root@k-master mnt]#

5.测试操作

[root@k-master ~]# mount /dev/rbd

rbd/  rbd0  rbd1  rbd2

[root@k-master ~]# mount /dev/rbd2 /mnt

[root@k-master ~]# cd /mnt

[root@k-master mnt]# ls

lost+found

[root@k-master mnt]# touch {1..4000}.log

[root@k-master mnt]# ls

6.对image进行扩容并应用到文件挂载上

[root@k-master mnt]# rbd info -p rbd-test rbd

rbd image 'rbd':

        size 1GiB in 256 objects

        order 22 (4MiB objects)

        block_name_prefix: rbd_data.855f6b8b4567

        format: 2

        features: layering, exclusive-lock

        flags:

        create_timestamp: Mon Jul 27 11:01:34 2020

[root@k-master mnt]# rbd resize -p rbd-test rbd --size 2G

Resizing image: 100% complete...done.

[root@k-master mnt]# rbd info -p rbd-test rbd

rbd image 'rbd':

        size 2GiB in 512 objects

        order 22 (4MiB objects)

        block_name_prefix: rbd_data.855f6b8b4567

        format: 2

        features: layering, exclusive-lock

        flags:

        create_timestamp: Mon Jul 27 11:01:34 2020

[root@k-master mnt]# df -h

Filesystem              Size  Used Avail Use% Mounted on

devtmpfs                979M    0  979M  0% /dev

tmpfs                    991M    0  991M  0% /dev/shm

tmpfs                    991M  35M  956M  4% /run

tmpfs                    991M    0  991M  0% /sys/fs/cgroup

/dev/mapper/centos-root  13G  1.9G  11G  15% /

/dev/sda1              1014M  137M  878M  14% /boot

tmpfs                    991M  52K  991M  1% /var/lib/ceph/osd/ceph-0

tmpfs                    991M  52K  991M  1% /var/lib/ceph/osd/ceph-1

tmpfs                    199M    0  199M  0% /run/user/0

/dev/rbd2                976M  2.6M  907M  1% /mnt

[root@k-master mnt]# resize2fs /dev/rbd2

resize2fs 1.42.9 (28-Dec-2013)

Filesystem at /dev/rbd2 is mounted on /mnt; on-line resizing required

old_desc_blocks = 1, new_desc_blocks = 1

The filesystem on /dev/rbd2 is now 524288 blocks long.

[root@k-master mnt]# df -h

Filesystem              Size  Used Avail Use% Mounted on

devtmpfs                979M    0  979M  0% /dev

tmpfs                    991M    0  991M  0% /dev/shm

tmpfs                    991M  35M  956M  4% /run

tmpfs                    991M    0  991M  0% /sys/fs/cgroup

/dev/mapper/centos-root  13G  1.9G  11G  15% /

/dev/sda1              1014M  137M  878M  14% /boot

tmpfs                    991M  52K  991M  1% /var/lib/ceph/osd/ceph-0

tmpfs                    991M  52K  991M  1% /var/lib/ceph/osd/ceph-1

tmpfs                    199M    0  199M  0% /run/user/0

/dev/rbd2                2.0G  3.1M  1.9G  1% /mnt

[root@k-master mnt]#

（二）落盘测试

落盘流程：File -> Objects[ (ino,ono) -> oid ] -> PGs[ hash(oid)&mask -> pgid ] -> OSDs[ crush(pgid)->(osd1,osd2) ]

1.查看object信息

[root@k-master mnt]# rbd -p rbd-test info rbd

rbd image 'rbd':

        size 2GiB in 512 objects

        order 22 (4MiB objects)

        block_name_prefix: rbd_data.855f6b8b4567

        format: 2

        features: layering, exclusive-lock

        flags:

        create_timestamp: Mon Jul 27 11:01:34 2020

[root@k-master mnt]# rados -p rbd-test ls | grep rbd_data.855f6b8b4567

rbd_data.855f6b8b4567.00000000000000e0

rbd_data.855f6b8b4567.0000000000000086

rbd_data.855f6b8b4567.0000000000000087

rbd_data.855f6b8b4567.0000000000000100

rbd_data.855f6b8b4567.00000000000000a0

rbd_data.855f6b8b4567.0000000000000060

rbd_data.855f6b8b4567.0000000000000083

rbd_data.855f6b8b4567.0000000000000000

rbd_data.855f6b8b4567.0000000000000120

rbd_data.855f6b8b4567.0000000000000084

rbd_data.855f6b8b4567.0000000000000004

rbd_data.855f6b8b4567.0000000000000085

rbd_data.855f6b8b4567.0000000000000020

rbd_data.855f6b8b4567.00000000000000ff

rbd_data.855f6b8b4567.0000000000000081

rbd_data.855f6b8b4567.0000000000000080

rbd_data.855f6b8b4567.0000000000000082

[root@k-master mnt]# rados -p rbd-test stat rbd_data.855f6b8b4567.0000000000000084

rbd-test/rbd_data.855f6b8b4567.0000000000000084 mtime 2020-07-27 11:05:06.000000, size 4194304

2.描述object落盘过程

[root@k-master mnt]# ceph osd map rbd-test  rbd_data.855f6b8b4567.0000000000000084

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000084' -> pg 8.ab05493e (8.3e) -> up ([2,0], p2) acting ([2,0], p2)

[root@k-master mnt]# for i in `rados -p rbd-test ls | grep rbd_data.855f6b8b4567`; do  ceph osd map rbd-test $i ;done

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.00000000000000e0' -> pg 8.d08b8020 (8.20) -> up ([2,0], p2) acting ([2,0], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000086' -> pg 8.b4e84288 (8.8) -> up ([1,2], p1) acting ([1,2], p1)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000087' -> pg 8.405feb48 (8.48) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000100' -> pg 8.14dc7fd4 (8.54) -> up ([2,1], p2) acting ([2,1], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.00000000000000a0' -> pg 8.77d68a3c (8.3c) -> up ([2,0], p2) acting ([2,0], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000060' -> pg 8.4a7479d2 (8.52) -> up ([2,1], p2) acting ([2,1], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000083' -> pg 8.5eaeb09a (8.1a) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000000' -> pg 8.dda22216 (8.16) -> up ([1,2], p1) acting ([1,2], p1)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000120' -> pg 8.8250ee76 (8.76) -> up ([2,1], p2) acting ([2,1], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000084' -> pg 8.ab05493e (8.3e) -> up ([2,0], p2) acting ([2,0], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000004' -> pg 8.7e65877e (8.7e) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000085' -> pg 8.e2bd2d91 (8.11) -> up ([2,1], p2) acting ([2,1], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000020' -> pg 8.b9fa6a39 (8.39) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.00000000000000ff' -> pg 8.738034ad (8.2d) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000081' -> pg 8.6fb63a5d (8.5d) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000080' -> pg 8.2a1a83bb (8.3b) -> up ([2,0], p2) acting ([2,0], p2)

osdmap e99 pool 'rbd-test' (8) object 'rbd_data.855f6b8b4567.0000000000000082' -> pg 8.c7292e3f (8.3f) -> up ([1,2], p1) acting ([1,2], p1)

[root@k-master mnt]#

[root@k-master mnt]# ceph osd tree

ID CLASS WEIGHT  TYPE NAME            STATUS REWEIGHT PRI-AFF

-1      0.01469 root default

-3      0.00980    host k-master

0  hdd 0.00490        osd.0            up  1.00000 1.00000

1  hdd 0.00490        osd.1            up  1.00000 1.00000

-5      0.00490    host k-worker001

2  hdd 0.00490        osd.2            up  1.00000 1.00000

[root@k-master mnt]#

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
禁止转载，如需转载请通过简信或评论联系作者。
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,294评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,493评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,790评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,595评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,718评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,906评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,053评论 3赞 410
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,797评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,250评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,388评论 4赞 332
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,018评论 3赞 316
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2赞 350