marshmallow 库介绍

前言

又是一个忘了写完的。。。。

marshmallow 是一个 ORM/ODM/框架无关的库,用于将复杂的数据类型,例如对象与Python原生数据类型之间转换的库。简单而言,就是对象序列化和反序列化,实现object -> dict, object -> list, string -> dict, string -> list的转换。(注:这篇文章将以 0.1.0 版本代码分析,可能与当前官方文档的例子有些不同)

官网示例

from datetime import date
from marshmallow import Schema, fields, pprint

class ArtistSchema(Schema):
    name = fields.Str()

class AlbumSchema(Schema):
    title = fields.Str()
    release_date = fields.Date()
    artist = fields.Nested(ArtistSchema())

bowie = dict(name='David Bowie')
album = dict(artist=bowie, title='Hunky Dory', release_date=date(1971, 12, 17))

schema = AlbumSchema()
result = schema.dump(album)
pprint(result, indent=2)
# { 'artist': {'name': 'David Bowie'},
#   'release_date': '1971-12-17',
#   'title': 'Hunky Dory'}

源码开篇

先看看 0.1.0 版本的源码结构,如下所示

marshmallow
├── __init__.py  
├── base.py
├── compat.py
├── core.py   # 核心代码,使用Python元类定义了Serializer,继承于BaseSerializer、SerializerMeta
├── exceptions.py
├── fields.py
├── types.py

core.py

先从 core.py 文件开始看起,该文件中主要包括了以下几个类,并应用了元类编程的思想:

class SerializerMeta(type):
    def __new__(cls, name, bases, attrs):
        attrs['_base_fields'] = _get_declared_fields(bases, attrs)
        return super(SerializerMeta, cls).__new__(cls, name, bases, attrs)
    
class BaseSerializer(object):
    def __init__(self, data=None):
        self._data = data
        self.fields = self.__get_fields()  # Dict of fields
    
    def __get_fields(self):
        """"""
        
    @property
    def data(self):
        """"""
    
    @property
    def json(self):
        """"""
        
class Serializer(with_metaclass(SerializerMeta, BaseSerializer)):
    pass


# compat.py
def with_metaclass(meta, *bases):
    '''Defines a metaclass.

    Creates a dummy class with a dummy metaclass. When subclassed, the dummy
    metaclass is used, which has a constructor that instantiates a
    new class from the original parent. This ensures that the dummy class and
    dummy metaclass are not in the inheritance tree.

    Credit to Armin Ronacher.
    '''
    class metaclass(meta):
        __call__ = type.__call__
        __init__ = type.__init__
        def __new__(cls, name, this_bases, d):
            if this_bases is None:
                return type.__new__(cls, name, (), d)
            return meta(name, bases, d)
    return metaclass('temporary_class', None, {})

可能之前有过元编程经验的人就会发现这段代码很熟悉,Serializer 类定义时使用 with_metaclass 方法传入 SerializerMeta 元类和 BaseSerializer 基类,而 with_metaclass 是一个比较重要的方法,用来兼容 python2 和 python3 元类使用上的区别。

  • with_metaclass 函数中定义了一个内部类(metaclass),并使用该内部类创建一个临时类 temporary_class
  • 该临时类是 内部类(metaclass) 的实例(元类创建出来的类就是元类的实例), 即是 tempoary_class 类的元类是 metaclass
  • 通过上面代码可以看出临时类创建时仅仅调用了 type.__new__方法

当定义 Serializer 类的时候,Serializer 得到了继承的元类metaclass:

  • 实例化 metaclass, 调用 metaclass.__new__方法,即是调用 meta(name, bases, d), meta 就是 SerializerMeta 元类,bases 就是 BaseSerializer 基类(要继承的类)
  • 调用 SerializerMeta 元类的 __new__ 方法来实例化得到 Serializer

这个地方需要注意一点是:

1、在定义 Serializer 类的时候,会执行 SerializerMeta 元类的__new__ 来创建类,而不是实例化的时候执行__new__ ,这是因为在类的定义(创建)过程中,是通过寻找 __metaclass__ 来完成的
2、上面虽然没有显示定义 __metaclass__ ,但由于下面metaclass的规则,会将定义的 SerializerMeta 类作为 metaclass 来创建类

3、metaclass 查找的规则是:如果当前类没有__metaclass__,但有基类,那么就使用第一个基类的__class__作为 __metaclass__,如果没有 __class__,则使用type 来创建类

一个简单的例子来看看:

# -*- coding: utf-8 -*-
from datetime import datetime
from marshmallow import Serializer, fields

class Person(object):
    def __init__(self, name):
        self.name = name
        self.date_born = datetime.now()
        
class PersonSerializer(Serializer):
    name = fields.String()
    date_born = fields.DateTime()
    
person = Person(name="guoweikuang")
serialized = PersonSerializer(person)
print(PersonSerializer.__mro__)


# out: (<class '__main__.PersonSerializer'>, <class 'marshmallow.core.Serializer'>, <class 'marshmallow.core.BaseSerializer'>, <type 'object'>)

可以看到 PersonSerializer 继承链中没有之前创建的临时类(tempoary_class)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,377评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,390评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,967评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,344评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,441评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,492评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,497评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,274评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,732评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,008评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,184评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,837评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,520评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,156评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,407评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,056评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,074评论 2 352

推荐阅读更多精彩内容