RGW对象存储网关学习2：数据组织与存储进阶

此片笔记主要为RGWrgw中的数据组织形式及存储结构进一步分析，同时是对radosgw-admin和rados命令行工具的学习。

radosgw-admin 是 RADOS 网关用户管理工具，用户相关操作。
s3cmd 是用于创建S3桶，上传，检索和管理数据到对象存储命令行实用程序。
rados 命令更底层，操作rados对象。

RGW数据分布 Conceptual view
"Although RADOS only knows about pools and objects with their xattrs and omap, conceptually RGW organizes its data into three defferent kinds: metadata, bucket index, and data."
RGW 将其数据组织为三种不同的类型：元数据、存储桶索引和数据

Metadata

有三部分元数据：user，bucket，bucket.instance

$ radosgw-admin metadata list
$ radosgw-admin metadata list bucket
$ radosgw-admin metadata list bucket.instance
$ radosgw-admin metadata list user

$ radosgw-admin metadata get bucket:<bucket>
$ radosgw-admin metadata get bucket.instance:<bucket>:<bucket_id>
$ radosgw-admin metadata get user:<user>

bucket对应内部的类型是RGWBucketEntryPoint，其只保存的bucket概要信息。
bucket instance对应内部的数据类型是RGWBucketInfo，其保存的是bucket的详细信息。
user对应内部的RGWUserInfo，保存user的详细信息

user元数据

通过下面的命令可以查看某个用户的元信息，包括：id，name，key，quota等信息：

$radosgw-admin metadata user get user:{user}

在逻辑上，user信息存储在{zone}.rgw.meta池的users:*命名空间中，如下：

users.uid：存储用户id及其bucket信息
users.keys：存储用户的access key信息，通过它可以找到用户id
users.email：存储用户的email信息
users.swfit：存储swfit子用户信息

其中用户的基本信息（id，key，email，subuser等）包含在结构RGWUserInfo中，用户的bucket信息包含在结构cls_user_bucket_entry中，还有其他结构也包含在cls_user_types.h文件中，详情可以参考源码，物理上，这些信息都存储在存储池映射的OSD磁盘上；下面是一个示例：

users.uid命名空间

包含user和user.buckets两个对象，其中user包含用户的基本信息，user.buckets包含用户的bucket信息。

$rados ls -p {zone}.rgw.meta --namespace=users.uid

user对象本身包含了用户的基本信息，基本上与用户相关的描述信息都包含在里面，只有一个扩展属性，没有omap属性。

$rados listxattr -p {zone}.rgw.meta --namespace=users.uid {user}
$rados listomapkeys -p {zone}.rgw.meta --namespace=users.uid {user}
$rados getxattr -p {zone}.rgw.meta --namespace=users.uid {user} {key}

user.buckets本身不包含信息，信息包含在omap属性中，没有扩展属性；用户在list bucket的时候会用到这个信息。

$rados listomapkeys -p {zone}.rgw.meta --namespace=users.uid {user}.buckets

$rados getomapval -p {zone}.rgw.meta --namespace=users.uid {user}.buckets {key}

users.keys命名空间

包含了key到uid映射信息，可以通过access key找到uid。

由于没有设置email和swift用户，所以users.email和users.swift空间没有记录相应的信息。
通过radosgw-admin user命令获取的所有信息都来至于上述的命名空间，各个命令的工作过程在这里就不相信分析了（掌握各操作的IO路径也是实现元数据分布式集群很重要的一部分，留待后面分析吧）

bucket元数据

通过下面的命令可以查看某个桶的元信息，包含：name，key，marker等信息：

$radosgw-admin metadata bucket get bucket:{bucket}

在逻辑上，bucket信息存储在{zone}.rgw.meta池的root命名空间中，其中{bucket} 记录了bucket与instance_id的对应关系，记录是的静态信息，对应于结构RGWBucketEntryPoint，.bucket.meta.{tenent}：{bucket}:{marker}记录bucket的寻址方式，记录的是动态信息，对应于结构RGWBucketInfo，bucket的ACL，Policy信息存放在xattr属性中，物理上，这些信息都存储在存储池映射的OSD磁盘上, 下面是一个示例：
1）包含bucket1和.bucket.meta.bucket1:475c3d39-2f37-4ffd-ab72-fecc7272339c.34580.1两个对象

$ rados ls master.rgw.meta --namespace=root all

2）bucket1对象本身包含了用户的基本信息，基本上与用户相关的描述信息都包含在里面，只有一个扩展属性，没有omap属性。

$rados listxattr -p {zone}.rgw.meta --namespace=root {bucket}
$rados listomapkeys -p {zone}.rgw.meta --namespace=root {bucket}
$rados getxattr -p {zone}.rgw.meta --namespace=root {bucket} {key}

3）.bucket.meta.bucket1:475c3d39-2f37-4ffd-ab72-fecc7272339c.34580.1对象的扩展属性中包含acl，policy等信息，对象本身包含bucket的动态信息。

$rados listxattr -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker}
ceph.obeclass.version
user.rgw.acl
$rados getxattr -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker} user.rgw.acl

rados get -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker}

Bucket Index

一种特殊的元数据，单独保存。
bucket_index保存rados对象间的key-value map。
map信息保存在rados对象的omap属性中。

通过下面的命令可以枚举bucket下的对象信息：

radosgw-admin bucket list --bucket={bucket}

在逻辑上，bucket index信息存储在{zone}.rgw.buckets.index池中，bucket index用于维护bucket下的对象信息，存储在一个或者多个对象的omap中 - key为对象的名字，value为结构rgw_bucket_dir_entry。bucket index对象的命名为：.dir.{bucket_id}.{shard_id}。下面是一个示例：
1）omap keys：bucket index对象中包含的object key列表。

rados listomapkeys -p {zone}.rgw.buckets.index .dir.{bucket_id}.{shard_id}

2）omap value: 某个object的信息，对应结构rgw_bucket_dir_entry。

$rados getomapval -p {zone}.rgw.buckets.index .dir.{bucket_id}.{shard_id} {key}

3）omap header：当前bucket index对象下的统计信息，对象数，总大小等。对应结构rgw_bucket_dir_header。

$rados getomapheader -p {zone}.rgw.bucket.index .dir.{bucket_id}.{shard_id} {key}

Data：

对象存储Object的数据存储在：{zone}.rgw.buckets.data池中。一个rgw对象包含一个或者多个rados对象，

本部分应结合“上传流程分析-郑强”文档进行实操明天再写。