MySQL连接断开报错MySQLdb._exceptions.OperationalError 4031, The client was disconnected by the server

问题描述

Flask + SQLAlchemy 的接口服务上线后报错 (MySQLdb._exceptions.OperationalError) (4031, ‘The client was disconnected by the server because of inactivity. See wait_timeout and interactive_timeout for configuring this behavior.’)↵[SQL: xxx]↵(Background on this error at: https://sqlalche.me/e/14/e3q8)

OperationalError 不一定是程序员引起的，例如意外断开、找不到数据源、无法处理事务、内存分配错误等。这种报错源于数据库驱动程序（DBAPI），而不是 SQLAlchemy。

OperationalError 最常见的原因是数据库连接被断开，详细阅读：Dealing with Disconnects

连接池能刷新连接并将旧池中的连接设为无效，有两种方案：

1. 悲观法

每次使用连接池时都执行测试语句测试数据库连接是否正常，如 SELECT 1。这种方法增加了一点开销但简单可靠。但是，如果丢失连接发生在事务或其他 SQL 操作中，这种预 ping 方法就失效了。

该方法可通过参数 pre_ping=True 实现

engine = create_engine('mysql+pymysql://root:[email protected]:3306/test', pool_pre_ping=True)

2. 乐观法

在断开连接时刷新连接。

参数 pool_recycle ，防止池使用超时的连接

engine = create_engine('mysql+pymysql://root:[email protected]:3306/test', pool_recycle=3600)

解决方案

1. 查看相关变量

SHOW VARIABLES WHERE `Variable_name` IN ('wait_timeout', 'interactive_timeout');

默认空闲 8 小时断开连接

2. 代码

SQLAlchemy

from sqlalchemy import create_engine

engine = create_engine(
    'mysql+pymysql://root:[email protected]:3306/test',
    pool_pre_ping=True,
    pool_size=10,
    pool_recycle=7200
)

Flask_SQLAlchemy

from flask import Flask
from flask_sqlalchemy import SQLAlchemy

app = Flask(__name__)
app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql+pymysql://root:[email protected]:3306/test'
app.config['SQLALCHEMY_ENGINE_OPTIONS'] = {
    'pool_pre_ping': True, 'pool_size': 10, 'pool_recycle': 7200}
db = SQLAlchemy(app)

pool_timeout 可能也有用，待试验


根据《SQLAlchemy Python数据库实战》，只用设置 pool_recycle=3600

参考文献

1. The client was disconnected by the server because of inactivity解决方案
2. MySQL SHOW VARIABLES Statement
3. airflow报错mysql连接超时已断开问题解决
4. Connection Pooling — SQLAlchemy Documentation
5. 解决mysql服务器在无操作超时主动断开连接的情况
6. 深入研究sqlalchemy连接池
7. flask_sqlalchemy pool_pre_ping only working sometimes