RGW对象存储网关学习4：对象上传

本篇笔记主要为RGW上传对象的流程分析，基于RGW源码、打印日志分析及相关文档学习。

RGW内部处理逻辑

RGW网关使用OP线程处理应用的I/O请求（OP线程在上电时创建，当前端WEB服务器为Civetweb时，通过修改配置项 rgw_thread_pool_size指定OP线程数目）。

RGW实例内部I_O路径（Ceph设计原理与实现）

HTTP 前端接收请求并保存在相应的数据结构RGWRequest中。
REST API 通用处理层从 HTTP 语义中解析出 S3 或 Swift 数据并进行一系列检查。
检查通过后，根据不同 API 操作请求执行不同的处理流程。
如需从 RADOS 集群中获取数据或者往 RADOS 集群中写入数据，则通过 RGW_RADOS 接口适配层调用 librados 接口将请求发送到 RADOS 集群中获取或写入相应数据。

Data：

对象存储Object的数据存储在：{zone}.rgw.buckets.data池中。一个rgw对象包含一个或者多个rados对象，

对象寻址就是拼接字符串的过程，再结合bucket.pool就能找到rados对象。

RGW中的应用对象对应RADOS对象。应用对象上传分整体上传和分段上传，不同的上传方式应用对象对应RADOS对象的方式不同。本篇重点为整体上传。
先明确三个概念：

rgw_max_chunk_size：分块大小，RGW下发至RADOS集群的单个IO的大小。
rgw_obj_stripe_size：条带大小，multipart除首对象外的分段其他大小
class RGWObjManifest：管理应用对象和RADOS对象的对应关系。

整体上传

应用对象大小小于等于分块大小：用户上传的一个对象只对应一个 RADOS 对象，该 RADOS 对象以应用对象名称命名，应用对象元数据也保存在该 RADOS 对象的扩展属性中。
应用对象大小大于分块大小：应用对象被分解成一个大小等于分块大小的首对象，多个大小等于条带大小的中间对象，和一个大小小于等于条带大小的尾对象。首对象以应用对象名称命名，在 RGW 中将该对象称为head_obj，该对象的数据部分保存了应用对象前 rgw_max_chunk_size字节的数据，扩展属性部分保存了应用对象的元数据信息和manifest信息。中间对象和尾对象保存应用对象剩余的数据，对象名称为“shadow_” + “.” + “32bit 随机字符串” + “_” + “条带编号”，其中条带编号从1开始。

普通对象

分段上传

RGW依照条带大小将应用对象的每一个分段分成多个RADOS对象，每个分段的第一个 RADOS 对象名称为：
“_multipart_” + “用户上传对象名称” + “分段上传ID” + “分段编号”
其余对象的名称为：
“_shadow_” + “用户上传对象名称” + “分段上传ID” + “分段编号” + “_” + “条带编号”

当所有的分段上传结束后，RGW 会从 data_extra_pool 中的分段上传临时对象中读取各个分段信息，主要是各分段的 manifest 信息，组成一个 manifest；然后生成一个新的 RADOS 对象，即 head obj，用来保存分段上传的应用对象的元数据信息和各分段的manifest。

分片对象

两种上传方式的区别

整体上传：Header对象包含元信息，如：acl（对应结构RGWAccessControlPolicy）,manifest（对应结构RGWObjManifest）,etag等，这些新包含在扩展属性xattr中，另外Header对象本身也可以包含4MB的对象。如果上传的对象大于4MB，那么就会生成Tail对象，Header中的扩展属性manifest描述了对象的布局信息

$ rados stat -p {pool} {name} ##查询分片大小

分段上传：Header对象只包含元数据，自身大小为0。可能包含多个part，每个part默认15MB，可以包含1-3个tail对象

上传对象流程分析

本部分结合源码和日志分析

整体上传：

概要理解几个对象：

RGWPutObjProcessor *processor，这个对象是一个父类指针，根据对象传输方式的不同，会指向两个不同的对象：RGWPutObjProcessor_Atomic 或 RGWPutObjProcessor_Multipart。分别处理Atomic对象和Multipart对象的上传工作。
RGWPutObjDataProcessor *filter，作为一个中间件的存在，其handle_data和throttle_data函数，会根据是否设置sse和compression调用不同子类的函数，对数据进行压缩、加密等工作（也可能什么也不做）。然后将处理后的数据传递给RGWPutObjProcessor_Multipart或RGWPutObjProcessor_Atomic的对应函数进行处理。

关键函数：

RGWPutObj::execute
- RGWPutObjProcessor::prepare
  - RGWPutObjProcessor_Atomic::prepare
- put_data_and_throttle
  - RGWPutObjProcessor_Atomic::handle_data
    - RGWPutObjProcessor_Atomic::write_data
      - RGWPutObjProcessor_Aio::handle_obj_data
        
        RGWRados::aio_put_obj_data
        
        librados aio API
  - RGWPutObjProcessor_Aio::throttle_data
- RGWPutObjProcessor::complete
  - RGWPutObjProcessor_Atomic::do_complete

gdb调试基本命令

$ ps -ef | grep radosgw
$ gdb attch $PID
$ b rgw_op.cc:xxx

RGW对象存储网关学习4：对象上传