详解多线程Django程序耗尽数据库连接的问题_Python

详解多线程Django程序耗尽数据库连接的问题

2021-04-05 00:37赖勇浩 Python

这篇文章主要介绍了多线程Django程序耗尽数据库连接的问题，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

Django的ORM是非常好用的，哪怕不是做Web项目也值得一用，所以网上也可以找到不少使用 Django 开发非Web项目的资料，因为除了ORM之个，命令行、配置文件等组件也非常好用。

最近用这种方式开发了一个非Web项目，而且是多线程的。有N个工作线程从DB中获取jobs，并把结果写回DB。简单来说就是这样。

项目运行一段时间后，发现数据库连接耗尽了，幸好内存大，然后一直往上调，最后连接数都上九千多一万了。耗尽连接数的时候，PostgreSQL 会出现类似这样的错误：

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各种看文档、代码，找问题，其中艰难略下不表，最后大概是这么些个知识点：

Django里的数据库连接是放在线程的 local() 实例中的。
任何时候，需要一个数据库连接的话，Django就会创建一条出来，或者用本线程已有的那条。
如果是Web项目，在请求结束的时候，Django会去关闭掉连接。是的，没有连接池。
因为我们是非Web项目，所以不存在请求结束事件，所以一直没的关闭连接。但本来这个应该也不会造成问题的，因为没关闭就一直用呗，但不知道哪里出了问题，会出现连接泄漏，所以连接数据会一直增长。

最后的解决方案是找时机主动关闭数据库连接，具体到我们项目，就是每次工作线程完成一个任务后，就把它相关的连接关掉，因为我们用的是 ThreadPoolExecutor ，所以Django很容易做到这一点。

重点代码如下：

									from django.db import connections

									def on_done(future):

									  # 因为每一个线程都有一个 connections，所以这里可以调用 close_all()，把本线程名下的所有连接关闭。

									  connections.close_all()

									def main():

									  # ...

									  with ThreadPoolExecutor() as executor:

									    while True:

									      future = executor.submit(do, get_a_job())

									      future.add_done_callback(on_done)