记一次Django Model删除不生效的坑

问题描述

最近使用Django 的ORM框架操作PostgreSQL数据库总是出现删除不生效(尤其是在并发的时候)。业务代码中也没有任何报错。

定位过程

  • 通过在Python日志中打印ORM框架返回的操作结果,发现delete操作返回的记录数是1
  • 通过在数据库中增加触发器,对相关数据表的写操作进行记录,发现没有删除操作

结合以上2点,猜测是事务没有commit导致。Django默认的事务模式是autocommit,每一次数据库操作执行后都会自动提交。项目使用的SQLAlchemy库的StaticPool连接池,配合gevent使用,一个进程中的所有协程串行复用一个数据库连接
(这里解释一下为什么要一个进程中的所有协程复用一个连接,因为Python的PostgreSQL驱动pyscopg2是有c语言编写,协程在与数据库交互时,并不会因为io操作而切走,所以即使使用多个连接,也无法带来并发能力的提升,反而会增加维护多个连接的消耗)

查看delete操作的源码,delete操作是在一个事务中执行了pre_delete signal、删除表记录、post_delete signal等操作,执行完成后自动commit或者rollback。

image.png

这里的pre_delete signal跟post_delete signal类似于数据库的触发器,不过是在Python代码层面实现的。问题就出在这个post_delete signal上面,出错的数据表注册了post_delete signal,并在其中调用了REST接口,而调用REST接口会导致协程发生切换,如果切换后的协程也操作了数据库,会将现有的事务回滚。(因为从连接池新拿到的连接,应该保证是没有事务在执行的)

将post_delete相关逻辑注掉后,问题消失

解决方案

解决方法有如下几种:

  1. 直接修改Django源码,将post_delete signal的逻辑移除到事务外面(Django将post_delete的逻辑放在事务里确认有点坑,一旦post_delete出现异常就会导致事务回滚,并且事务过长也会消耗数据库资源)
  2. 修改业务代码,将delete成功后的处理逻辑由使用signal完成,改为重写Django Model的delete方法(先调用父类的delete方法,成功后再执行后置处理逻辑)
  3. 不使用StaticPool,使用更常用的QueuePool连接池,来避免一个连接上的事务还没有执行完,该连接就被分配给另一个协程的问题

最终综合考虑性能,对业务代码的侵入性,以及我们的Django版本短期内不会变化,我们选择了方案 1来解决数据库删除不生效的问题

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Django 准备 “虚拟环境为什么需要虚拟环境:到目前位置,我们所有的第三方包安装都是直接通过 pip inst...
    33jubi阅读 1,356评论 0 5
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 3,070评论 1 3
  • 原文:https://my.oschina.net/liuyuantao/blog/751438 查询集API 参...
    阳光小镇少爷阅读 3,873评论 0 8
  • 明月村,一个很好听的名字,位于四川成都蒲江,是全国文明村镇。这是我从电视上看到的。 之所以对明月村感兴趣,是因为明...
    辛苦快乐阅读 904评论 0 1
  • 《雪花 》 整个下午, 雪一直下, 从九天之外, 琼楼玉宇的亭廊, 所有的静待, 倾囊而出, 无所谓香凝冷绝, 冰...
    蓝心诚阅读 296评论 4 7