此片笔记主要为RGWrgw中的数据组织形式及存储结构进一步分析，同时是对radosgw-admin和rados命令行工具的学习。
- radosgw-admin 是 RADOS 网关用户管理工具，用户相关操作。
- s3cmd 是用于创建S3桶，上传，检索和管理数据到对象存储命令行实用程序。
- rados 命令更底层，操作rados对象。
RGW数据分布 Conceptual view
"Although RADOS only knows about pools and objects with their xattrs and omap, conceptually RGW organizes its data into three defferent kinds: metadata, bucket index, and data."
RGW 将其数据组织为三种不同的类型：元数据、存储桶索引和数据
Metadata
有三部分元数据：user，bucket，bucket.instance
$ radosgw-admin metadata list
$ radosgw-admin metadata list bucket
$ radosgw-admin metadata list bucket.instance
$ radosgw-admin metadata list user
$ radosgw-admin metadata get bucket:<bucket>
$ radosgw-admin metadata get bucket.instance:<bucket>:<bucket_id>
$ radosgw-admin metadata get user:<user>
bucket对应内部的类型是RGWBucketEntryPoint，其只保存的bucket概要信息。
bucket instance对应内部的数据类型是RGWBucketInfo，其保存的是bucket的详细信息。
user对应内部的RGWUserInfo，保存user的详细信息
user元数据
通过下面的命令可以查看某个用户的元信息，包括：id，name，key，quota等信息：
$radosgw-admin metadata user get user:{user}
在逻辑上，user信息存储在{zone}.rgw.meta池的users:*命名空间中，如下：
- users.uid：存储用户id及其bucket信息
- users.keys：存储用户的access key信息，通过它可以找到用户id
- users.email：存储用户的email信息
- users.swfit：存储swfit子用户信息
其中用户的基本信息（id，key，email，subuser等）包含在结构RGWUserInfo中，用户的bucket信息包含在结构cls_user_bucket_entry中，还有其他结构也包含在cls_user_types.h文件中，详情可以参考源码，物理上，这些信息都存储在存储池映射的OSD磁盘上；下面是一个示例：
users.uid命名空间
- 包含user和user.buckets两个对象，其中user包含用户的基本信息，user.buckets包含用户的bucket信息。
$rados ls -p {zone}.rgw.meta --namespace=users.uid
- user对象本身包含了用户的基本信息，基本上与用户相关的描述信息都包含在里面，只有一个扩展属性，没有omap属性。
$rados listxattr -p {zone}.rgw.meta --namespace=users.uid {user}
$rados listomapkeys -p {zone}.rgw.meta --namespace=users.uid {user}
$rados getxattr -p {zone}.rgw.meta --namespace=users.uid {user} {key}
- user.buckets本身不包含信息，信息包含在omap属性中，没有扩展属性；用户在list bucket的时候会用到这个信息。
$rados listomapkeys -p {zone}.rgw.meta --namespace=users.uid {user}.buckets
$rados getomapval -p {zone}.rgw.meta --namespace=users.uid {user}.buckets {key}
users.keys命名空间
- 包含了key到uid映射信息，可以通过access key找到uid。
- 由于没有设置email和swift用户，所以users.email和users.swift空间没有记录相应的信息。
通过radosgw-admin user命令获取的所有信息都来至于上述的命名空间，各个命令的工作过程在这里就不相信分析了（掌握各操作的IO路径也是实现元数据分布式集群很重要的一部分，留待后面分析吧）
bucket元数据
通过下面的命令可以查看某个桶的元信息，包含：name，key，marker等信息：
$radosgw-admin metadata bucket get bucket:{bucket}
在逻辑上，bucket信息存储在{zone}.rgw.meta池的root命名空间中，其中{bucket} 记录了bucket与instance_id的对应关系，记录是的静态信息，对应于结构RGWBucketEntryPoint，.bucket.meta.{tenent}：{bucket}:{marker}记录bucket的寻址方式，记录的是动态信息，对应于结构RGWBucketInfo，bucket的ACL，Policy信息存放在xattr属性中，物理上，这些信息都存储在存储池映射的OSD磁盘上, 下面是一个示例：
1）包含bucket1和.bucket.meta.bucket1:475c3d39-2f37-4ffd-ab72-fecc7272339c.34580.1两个对象
$ rados ls master.rgw.meta --namespace=root all
2）bucket1对象本身包含了用户的基本信息，基本上与用户相关的描述信息都包含在里面，只有一个扩展属性，没有omap属性。
$rados listxattr -p {zone}.rgw.meta --namespace=root {bucket}
$rados listomapkeys -p {zone}.rgw.meta --namespace=root {bucket}
$rados getxattr -p {zone}.rgw.meta --namespace=root {bucket} {key}
3）.bucket.meta.bucket1:475c3d39-2f37-4ffd-ab72-fecc7272339c.34580.1对象的扩展属性中包含acl，policy等信息，对象本身包含bucket的动态信息。
$rados listxattr -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker}
ceph.obeclass.version
user.rgw.acl
$rados getxattr -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker} user.rgw.acl
rados get -p {zone}.rgw.meta --namespace=root .bucket.meta.{tenent}:{bucket}:{marker}
Bucket Index
- 一种特殊的元数据，单独保存。
- bucket_index保存rados对象间的key-value map。
- map信息保存在rados对象的omap属性中。
通过下面的命令可以枚举bucket下的对象信息：
radosgw-admin bucket list --bucket={bucket}
在逻辑上，bucket index信息存储在{zone}.rgw.buckets.index池中，bucket index用于维护bucket下的对象信息，存储在一个或者多个对象的omap中 - key为对象的名字，value为结构rgw_bucket_dir_entry。bucket index对象的命名为：.dir.{bucket_id}.{shard_id}。下面是一个示例：
1）omap keys：bucket index对象中包含的object key列表。
rados listomapkeys -p {zone}.rgw.buckets.index .dir.{bucket_id}.{shard_id}
2）omap value: 某个object的信息，对应结构rgw_bucket_dir_entry。
$rados getomapval -p {zone}.rgw.buckets.index .dir.{bucket_id}.{shard_id} {key}
3）omap header： 当前bucket index对象下的统计信息，对象数，总大小等。对应结构rgw_bucket_dir_header。
$rados getomapheader -p {zone}.rgw.bucket.index .dir.{bucket_id}.{shard_id} {key}
Data：
对象存储Object的数据存储在：{zone}.rgw.buckets.data池中。一个rgw对象包含一个或者多个rados对象，
本部分应结合“上传流程分析-郑强”文档进行实操 明天再写。
