Python 属性访问机制

简介

Python 中,一切皆对象。

当我们访问某个对象属性时,在不同的情况下,Python 对属性的访问机制有所不同。

在介绍 Python 属性访问机制前,先来了解一些前置知识。

前置知识

  • Python 中与属性访问相关的一些魔法方法
  1. __getattr__(self, name):当默认属性访问抛出 AttributeError 异常(可能是 __getattribute__ 无法找到对应实例的属性而抛出 AttributeError 异常,或者实例本身无法在继承树上找到对应的实例,再或者是描述符对象的 __get__ 对该属性抛出 AttributeError异常导致)时被调用。该方法应当返回一个值或者抛出一个 AttributeError 异常。
    :如果按正常的属性搜索机制找到了属性,__getattr__ 不会被调用。

  2. __getattribute__(self, name):该方法会被无条件调用, 无论属性存不存在。如果同时定义了 __getattr__ 方法,除非 __getattribute__ 显示调用它或者抛出一个 AttributeError 异常,否则不会被调用。该方法应当返回一个值或者抛出一个 AttributeError 异常。为了避免潜在的无限递归调用,方法的实现应当永远返回基类的同名方法调用,比如object.__getattribute__(self, name)

  3. __getitem__(self, key):对于self[key]的调用实现。对于序列对象,参数key必须为整形或切片类型对象。如果key类型不恰当,可以触发 TypeError 异常;如果索引越界,可以触发 IndexError 异常;对于映射类型,如果key缺失,可以触发 [KeyError] 异常。
    __getitem__(self, key)__getattribute__(self, name) 一致,都是会无条件被调用。它们之间的区别只在于:__getattribute__(self, name) 被对象的.操作触发;__getitem__(self, key) 被对象的[]操作触发

  • 描述符对象:一般来说,描述符对象指的是具备“绑定行为”的对象属性,其属性访问机制被 __get__()__set__()__delete__() 所覆写。简单来讲,如果一个对象定义了该三种方法中的任意一种或多种,则将该对象称为描述符对象。
    默认的属性访问行为是对对象的__dict__属性字典进行获取,设置或删除操作。比如,a.x会首先从a.__dict__['x']进行查找,找不到就继续往查找链上级type(a).__dict__['x']进行查找,在继承链(除了metaclass)上如此往复。
    然而,如果查找的属性是一个描述符对象,那么 Python 就会使用描述符方法替代默认的属性搜索机制。
    对于定义了 __set____delete__的描述符,称之为 数据描述符(data descriptor),否则,则为 非数据描述符(non-data descriptor)。通常,数据描述符一般都定义了 __get____set__ 方法,非数据描述符一般只定义了 __get__ 方法。数据描述符会覆盖掉对象实例属性字典__dict__,非数据描述符属性会被对象实例对应属性覆盖
    在 Python 中,静态方法staticmethod() 和 类方法classmethod() 以非数据描述符(non-data descriptor)的方式进行实现,因此,对象实例可以覆盖重定义这些方法。
    property() 方法以数据描述符(data descriptor)进行实现,因此,对象实例无法重写property行为。

属性访问机制

  • 默认访问机制:实例属性字典 -> 类属性字典 -> 父类属性字典 ->...-> object 属性字典,即 obj.__dict__['x'] -> class.__dict__['x'] -> super().__dict__['x'] ->...-> object.__dict__['x']
class A(object):
    a = 1
    b = 10

    def __init__(self):
        self.a = 2


if __name__ == '__main__':
    obj = A()
    print(obj.a)  # 2
    print(obj.b)  # 10
class A(object):
    a = 1
    b = 10

    def __init__(self):
        self.a = 2

    def __getattr__(self, item):
        return item


if __name__ == '__main__':
    obj = A()
    print(obj.a)  # 2
    print(obj.b)  # 10
    print(obj.c)  # c

从代码运行结果可以看出:对于设置了__getattr__的对象,只有当搜索不到属性时,才会调用__getattr__方法。

class A(object):
    a = 1
    b = 10

    def __init__(self):
        self.a = 2

    def __getattribute__(self, item):
        return item


if __name__ == '__main__':
    obj = A()
    print(obj.a)  # a
    print(obj.b)  # b
    print(obj.c)  # c

可以看到,如果__getattribute__直接返回一个结果,则对象所有的属性访问直接返回的是__getattribute__的结果。如果__getattribute__抛出异常,则无法获取属性值,程序直接退出。即 __getattribute__会阻断属性默认访问机制,除非使用默认实现super().__getattribute__(item)
:为了同时支持self['x']这种操作,可以直接让__getattribute__代理结果即可:

def __getitem__(self, item):
    return type(self).__getattribute__(self, item)
class A(object):
    a = 1
    b = 10

    def __init__(self):
        self.a = 2

    def __getattribute__(self, item):
        print('call __getattribute__')
        if item == 'a':
            return item
        raise AttributeError

    def __getattr__(self, item):
        print('call __getattr__')
        return item


if __name__ == '__main__':
    obj = A()
    print(obj.a)  
    print(obj.b) 
    print(obj.c)

结果如下:

call __getattribute__
a
call __getattribute__
call __getattr__
b
call __getattribute__
call __getattr__
c

可以看到,当同时存在__getattribute____getattr__时,会先调用__getattribute__,如果返回一个值,则调用结束。否则,会继续走__getattr__方法调用。如果__getattr__抛出异常,程序直接退出。

  • 访问数据描述符成员
class DataDescriptor(object):
    def __init__(self, name):
        self.name = name

    def __repr__(self):
        return '<DataDescriptor: {}>'.format(self.name)

    def __get__(self, instance, owner):
        print('call __get__')
        print('instance', instance)
        print('owner', owner)
        return '1111111111'

    def __set__(self, instance, value):
        print('call __set__')
        print('instance', instance)
        self.value = value


class A(object):
    data_desc = DataDescriptor('class A') # class attribute


if __name__ == '__main__':
    obj = A()
    obj.data_desc = DataDescriptor('main') # instance attribute
    print('object __dict__:', obj.__dict__)
    print(obj.data_desc)

结果如下:

call __set__
instance <__main__.A object at 0x0127E8D0>
object __dict__: {}
call __get__
instance <__main__.A object at 0x0127E8D0>
owner <class '__main__.A'>
1111111111

可以看到,当 数据描述符作为类属性 时,在对象上使用该属性(a.xx为 data descriptor)时,赋值时会调用数据描述符的__set__方法,取值时会调用数据描述符的__get__方法。对象的属性字典obj.__dict__不起作用。

下面看下在 类对象(A.data_desc)的使用:

class DataDescriptor(object):
    def __init__(self, name):
        self.name = name

    def __repr__(self):
        return '<DataDescriptor: {}>'.format(self.name)

    def __get__(self, instance, owner):
        print('call __get__')
        print('instance', instance)
        print('owner', owner)
        return '1111111111'

    def __set__(self, instance, value):
        print('call __set__')
        print('instance', instance)
        self.value = value


class A(object):
    data_desc = DataDescriptor('class A') # class attribute


if __name__ == '__main__':
    obj = A # class,not instance
    obj.data_desc = DataDescriptor('main') # class attribute
    print('object __dict__:', obj.__dict__)
    print(obj.data_desc)

结果如下:

object __dict__: {'__module__': '__main__', 'data_desc': <DataDescriptor: main>, '__dict__': <attribute '__dict__' of 'A' objects>, '__weakref__': <attribute '__weakref__' of 'A' objects>, '__doc__': None}
call __get__
instance None
owner <class '__main__.A'>
1111111111

可以看到,当在 类对象(A.data_desc)上使用数据描述符属性时,由于该属性本身就是类对象所有,因此设置属性时,不会调用数据描述符的__set__方法,而是直接设置到类的__dict__中;而取值流程与对象的流程一致,只是数据描述符__get__的参数instance变为None

  • 访问非数据描述符成员
class DataDescriptor(object):
    def __init__(self, name):
        self.name = name

    def __repr__(self):
        return '<DataDescriptor: {}>'.format(self.name)

    def __get__(self, instance, owner):
        print('call __get__')
        print('instance', instance)
        print('owner', owner)
        return '1111111111'


class A(object):
    data_desc = DataDescriptor('class A')  # class attribute


if __name__ == '__main__':
    obj = A()
    print('object __dict__:', obj.__dict__)
    print(obj.data_desc)

结果如下:

object __dict__: {}
call __get__
instance <__main__.A object at 0x0034AF30>
owner <class '__main__.A'>
1111111111

更改main函数为如下:

if __name__ == '__main__':
    obj = A()
    obj.data_desc = DataDescriptor('main')  # instance attribute
    print('object __dict__:', obj.__dict__)
    print(obj.data_desc)

结果为:

object __dict__: {'data_desc': <DataDescriptor: main>}
<DataDescriptor: main>

可以看到,对象访问非数据描述符时,先调用对象的__dict__,没有才调用描述符的__get__方法。

下面看下在 类对象(A.data_desc) 上使用非数据描述符属性:

if __name__ == '__main__':
    obj = A
    # obj.data_desc = DataDescriptor('main')  # class attribute
    print('object __dict__:', obj.__dict__)
    print(obj.data_desc)

结果如下:

object __dict__: {'__module__': '__main__', 'data_desc': <DataDescriptor: class A>, '__dict__': <attribute '__dict__' of 'A' objects>, '__weakref__': <attribute '__weakref__' of 'A' objects>, '__doc__': None}
call __get__
instance None
owner <class '__main__.A'>
1111111111

把代码中的注释解除,结果一致。因此,对于非数据描述符,类对象使用时直接调用其__get__方法。

总结

  • 默认属性访问机制:实例属性字典 -> 类属性字典 -> 父类属性字典 -> ... -> object 属性字典

  • __getattribute__ 一旦定义,就会被调用,且会阻断默认属性访问机制(除非使用默认实现super().__getattribute__(item))。同理, __getitem__

  • 当定义了__getattr__时,只有在属性无法找到时,才会进行调用。有以下几种可能会导致__getattr__被调用:
     1. __getattribute__抛出 AttributeError 异常;
     2. 默认属性访问机制无法找到所需属性值;
     3. 描述符对象的__get__方法抛出 AttributeError 异常;

  • 描述符作为实例属性 时,直接返回__dict__['x']

  • 描述符作为类属性 时,存在如下几种情形:
     1. 当属性为 数据描述符(data descriptor) 时,在对象实例上调用,会调用数据描述符的__set____get__方法,即数据描述符会覆盖对象的__dict__;而在类对象上调用时,不会调用__set__方法,而__get__方法仍会被调用,只是参数instance变为None
     2. 当属性为 非数据描述符(non-data descriptor) 时,在对象实例上调用,会先调用对象的__dict__,没有才调用非数据描述符的__get__方法,即对象的__dict__会覆盖非数据描述符;而在类对象上调用时,会直接调用非数据描述符的__get__方法。
    总结:对于描述符属性,__get__方法一定会被调用,除了对象实例调用非数据描述符属性,且对象实例本身已有该同名属性;
    对于描述符属性,__set__方法一定不会被调用,除了对象实例调用数据描述符。

  • 描述符相关方法的调用是写在__getattribute__ 内部默认实现上的。

参考

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,372评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,368评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,415评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,157评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,171评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,125评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,028评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,887评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,310评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,533评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,690评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,411评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,004评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,812评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,693评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,577评论 2 353

推荐阅读更多精彩内容

  • 一、Python简介和环境搭建以及pip的安装 4课时实验课主要内容 【Python简介】: Python 是一个...
    _小老虎_阅读 5,744评论 0 10
  • 今天,我还是像往常一样和伙伴一起去游泳。到了游泳池我抬头看天时,才知道天空上乌云密布,雷声隆隆。正在我看的...
    小昱籽儿阅读 219评论 0 0
  • 知了不厌其烦地向世界诉说着夏日的闷热,夏风虽然总是拼命地扭动自己软弱的身姿,却怎么样也带不来一丝丝清凉,刘雨...
    望海倾城阅读 801评论 0 0
  • 对方正在输入…… 最近和一朋友一起吃饭,忽然来了条微信,朋友打开微信,是他女朋友的,但是没有点开回复,我们很是诧异...
    Alex彩阅读 204评论 0 2