阅读源码分析使用 restframework-bulk 包进行`批量`操作中的 `批量更新` 失败问题

django-restframework-icon.png

背景

之前写过一篇文章 《Django restframework实现批量操作》 介绍了两种方案实现 Django批量操作,其中一种是通过 restframework-bulk 来实现,但是当时遇到一个 QuerySet object has no attribute pk 问题没有搞明白。

今天看到博客中有朋友提问,就打开源码分析debug了一下,找到了根本愿意所在

先说结果

User模型中的name字段使用 unique=True, 程序在运行过程中就进行 UniqueValidator严重,根源是这个类中exclude_current_instance 方法没有对参数instance 做类型判断,在批量 操作的时候instance 是 List 类型,不是对象类型,所以报错没有pk属性

穿插

如果想更好的理解和实战Django restframework实现批量操作 涉及的知识点,可以获取该案例的源码

下载地址 django multi operations demo code

分析

1)、批量更新接口http://127.0.0.1:8002/api/v2/users/ 定位到 urls.py 文件中相关代码

from demoapp.views import UserViewSet
router.register('users', UserViewSet)

2)、看到 views.py 文件中 UserViewSet的定义

# Create your views here.
class UserViewSet(BulkModelViewSet):
    serializer_class = UserSerializer
    queryset = User.objects.all()
    filter_backends = (DjangoFilterBackend, )
    filterset_class = UserFilterSet

    def allow_bulk_destroy(self, qs, filtered):
        print("here: qs-> ", qs, "\n filtered-> ", filtered)
        return qs is not filtered

3)、ctrl+鼠标右键 BulkModelViewSet 上找到 restframework_bulk/generic.py 看到

class BulkModelViewSet(bulk_mixins.BulkCreateModelMixin,
                       bulk_mixins.BulkUpdateModelMixin,
                       bulk_mixins.BulkDestroyModelMixin,
                       ModelViewSet):
    pass

这里我们分析 bulk_mixins.BulkUpdateModelMixin

4)、同样的方式定位到 restframework_bulk/drf3/mixins.pyBulkUpdateModelMixin 的实现

class BulkUpdateModelMixin(object):
    ... ...
    def bulk_update(self, request, *args, **kwargs):
        partial = kwargs.pop('partial', False)
        serializer = self.get_serializer(
            self.filter_queryset(self.get_queryset()),
            data=request.data,
            many=True,
            partial=partial,
        )
        # Attention: 
        # 1、注意上面的 self.get_serializer() 中有了many=True,所以不是序列化是没有问题
        # 2、但是从错误中知道这里 is_valid() 触发了异常
        # 3、那么就需要根据错误去追 rest_framework中对应 serializers 相关的逻辑
        serializer.is_valid(raise_exception=True)
        self.perform_bulk_update(serializer)
        return Response(serializer.data, status=status.HTTP_200_OK)

Attention:

  • 1、注意上面的 self.get_serializer() 中有了many=True,所以不是序列化是没有问题
  • 2、但是从错误中知道这里 is_valid() 触发了异常
  • 3、那么就需要根据错误去追 rest_framework中对应 serializers 相关的逻辑

5)、从错误中有如下信息

... ...
File "/Users/colinspace/.pyenv/versions/py2022/lib/python3.9/site-packages/rest_framework/serializers.py", line 756, in is_valid
    self._validated_data = self.run_validation(self.initial_data)
.... ...

所以去 rest_framework/serializers.py 中 756行检查,源码中可以得知是定位到 ListSerializer类中的is_valid() 方法,然后调用相关的内部方法,这里列举出 调用顺序,具体源码太多这里不做展示

is_valid() -> self.run_validation() -> self.to_internal_value(data) -> self.child.run_validation(item) -> Serializer类中的self.to_internal_value(data)

这里需要把 Serializer类中的self.to_internal_value(data) 展开说明下

fields = self._writable_fields
for field in fields:
    validate_method = getattr(self, 'validate_' + field.field_name, None)
    primitive_value = field.get_value(data)
    try:
        validated_value = field.run_validation(primitive_value)
        if validate_method is not None:
            validated_value = validate_method(validated_value)

这里是对模型序列化中的可写字段进行run_validation 处理,然后就跳到了 rest_framework/fields.py中的 CharField类的run_validation() -> Field类的run_validation() -> Field类的 run_validators()

def run_validators(self, value):
    errors = []
    for validator in self.validators:
        try:
            if getattr(validator, 'requires_context', False):
                validator(value, self)
            else:
                validator(value)

前面说过 Unique=True 会进行 UniqueValidator 验证,UniqueValidator 中 requires_context=True ,

这里执行validator(value, self) 实际就是执行 UniqueValidator 类的__call__(self, value, serializer_field) 方法

def __call__(self, value, serializer_field):
    field_name = serializer_field.source_attrs[-1]
    instance = getattr(serializer_field.parent, 'instance', None)

    queryset = self.queryset
    queryset = self.filter_queryset(value, queryset, field_name)
    queryset = self.exclude_current_instance(queryset, instance)
    if qs_exists(queryset):
        raise ValidationError(self.message, code='unique')

这里 serializer_field 就是UserSerializer的name字段, serializer_field.parent就是UserSerializer本身,它的instance 在批量操作的情况就是一个List类型,而不是单一对象,这里可以 输出类型很容易验证

最后知道错误发送在 exclude_current_instance 方法,不就是 UniqueValidator 中的方法么,

def exclude_current_instance(self, queryset, instance):
    if instance is not None:
        return queryset.exclude(pk=instance.pk)
    return queryset

既然 instance 此时是List类型,所以 instance.pk 必然报错

所以需要修改这里的源码为如下:

def exclude_current_instance(self, queryset, instance):
    """
    If an instance is being updated, then do not include
    that instance itself as a uniqueness conflict.
    """
    if instance is not None:
        if isinstance(instance, list):
            for item in instance:
                queryset.exclude(pk=instance.pk)
            return queryset
        # return queryset.exclude(pk=instance.pk)
    return queryset

然后执行批量更新,没有报错,也确实按照实际期望执行了


ok,今天的源码分析就到这里,比较冗长也比较细,就要是带着大家都一遍,了解如何去分析阅读源码。这样以后出现问题的时候,就知道怎么去分析解决问题了。

如果喜欢文章, 欢迎点赞、关注、留言交流 1209755822


博客首页: http://blog.colinspace.com
csdn首页: https://blog.csdn.net/eagle5063
简书首页: https://www.jianshu.com/u/6d793fbacc88
知乎首页: https://www.zhihu.com/people/colin-31-49

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,287评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,346评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,277评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,132评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,147评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,106评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,019评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,862评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,301评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,521评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,682评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,405评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,996评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,651评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,803评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,674评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,563评论 2 352

推荐阅读更多精彩内容