本篇笔记主要为RGW上传对象的流程分析，基于RGW源码、打印日志分析及相关文档学习。
RGW内部处理逻辑
RGW网关使用OP线程处理应用的I/O请求（OP线程在上电时创建，当前端WEB服务器为Civetweb时，通过修改配置项 rgw_thread_pool_size指定OP线程数目）。
RGW实例内部I_O路径（Ceph设计原理与实现）
- HTTP 前端接收请求并保存在相应的数据结构
RGWRequest中。 - REST API 通用处理层从 HTTP 语义中解析出 S3 或 Swift 数据并进行一系列检查。
- 检查通过后，根据不同 API 操作请求执行不同的处理流程。
- 如需从 RADOS 集群中获取数据或者往 RADOS 集群中写入数据，则通过
RGW_RADOS接口适配层调用 librados 接口将请求发送到 RADOS 集群中获取或写入相应数据。
Data：
对象存储Object的数据存储在：{zone}.rgw.buckets.data池中。一个rgw对象包含一个或者多个rados对象，
对象寻址就是拼接字符串的过程，再结合bucket.pool就能找到rados对象。
RGW中的应用对象对应RADOS对象。应用对象上传分整体上传和分段上传，不同的上传方式应用对象对应RADOS对象的方式不同。本篇重点为整体上传。
先明确三个概念：
-
rgw_max_chunk_size：分块大小，RGW下发至RADOS集群的单个IO的大小。 -
rgw_obj_stripe_size：条带大小，multipart除首对象外的分段其他大小 -
class RGWObjManifest：管理应用对象和RADOS对象的对应关系。
整体上传
- 应用对象大小小于等于分块大小：用户上传的一个对象只对应一个 RADOS 对象，该 RADOS 对象以应用对象名称命名，应用对象元数据也保存在该 RADOS 对象的扩展属性中。
- 应用对象大小大于分块大小：应用对象被分解成一个大小等于分块大小的首对象，多个大小等于条带大小的中间对象，和一个大小小于等于条带大小的尾对象。首对象以应用对象名称命名，在 RGW 中将该对象称为
head_obj，该对象的数据部分保存了应用对象前rgw_max_chunk_size字节的数据，扩展属性部分保存了应用对象的元数据信息和manifest信息。中间对象和尾对象保存应用对象剩余的数据，对象名称为“shadow_” + “.” + “32bit 随机字符串” + “_” + “条带编号”，其中条带编号从1开始。
普通对象
分段上传
RGW依照条带大小将应用对象的每一个分段分成多个RADOS对象，每个分段的第一个 RADOS 对象名称为：
“_multipart_” + “用户上传对象名称” + “分段上传ID” + “分段编号”
其余对象的名称为：
“_shadow_” + “用户上传对象名称” + “分段上传ID” + “分段编号” + “_” + “条带编号”
当所有的分段上传结束后，RGW 会从 data_extra_pool 中的分段上传临时对象中读取各个分段信息，主要是各分段的 manifest 信息，组成一个 manifest；然后生成一个新的 RADOS 对象，即 head obj，用来保存分段上传的应用对象的元数据信息和各分段的manifest。
分片对象
两种上传方式的区别
- 整体上传：Header对象包含元信息，如：acl（对应结构RGWAccessControlPolicy）,manifest（对应结构RGWObjManifest）,etag等，这些新包含在扩展属性xattr中，另外Header对象本身也可以包含4MB的对象。如果上传的对象大于4MB，那么就会生成Tail对象，Header中的扩展属性manifest描述了对象的布局信息
$ rados stat -p {pool} {name} ##查询分片大小
- 分段上传：Header对象只包含元数据，自身大小为0。可能包含多个part，每个part默认15MB，可以包含1-3个tail对象
上传对象流程分析
本部分结合源码和日志分析
整体上传：
概要理解几个对象：
- RGWPutObjProcessor *processor，这个对象是一个父类指针，根据对象传输方式的不同，会指向两个不同的对象：RGWPutObjProcessor_Atomic 或 RGWPutObjProcessor_Multipart。分别处理Atomic对象和Multipart对象的上传工作。
- RGWPutObjDataProcessor *filter，作为一个中间件的存在，其handle_data和throttle_data函数，会根据是否设置sse和compression调用不同子类的函数，对数据进行压缩、加密等工作（也可能什么也不做）。然后将处理后的数据传递给RGWPutObjProcessor_Multipart或RGWPutObjProcessor_Atomic的对应函数进行处理。
关键函数：
- RGWPutObj::execute
- RGWPutObjProcessor::prepare
- RGWPutObjProcessor_Atomic::prepare
- put_data_and_throttle
- RGWPutObjProcessor_Atomic::handle_data
- RGWPutObjProcessor_Atomic::write_data
- RGWPutObjProcessor_Aio::handle_obj_data
- RGWRados::aio_put_obj_data
- librados aio API
- RGWRados::aio_put_obj_data
- RGWPutObjProcessor_Aio::handle_obj_data
- RGWPutObjProcessor_Atomic::write_data
- RGWPutObjProcessor_Aio::throttle_data
- RGWPutObjProcessor_Atomic::handle_data
- RGWPutObjProcessor::complete
- RGWPutObjProcessor_Atomic::do_complete
- RGWPutObjProcessor::prepare
gdb调试基本命令
$ ps -ef | grep radosgw
$ gdb attch $PID
$ b rgw_op.cc:xxx
