当前位置：网站首页>Database implements distributed locks

Database implements distributed locks

2022-07-31 03:11:00 【1.01】

欢迎跳转到本文的原文链接：https://honeypps.com/architect/distribute-lock-based-on-database/

概述

在单机时代,虽然不需要分布式锁,但也面临过类似的问题,只不过在单机的情况下,如果有多个线程要同时访问某个共享资源的时候,我们可以采用线程间加锁的机制,即当某个线程获取到这个资源后,就立即对这个资源进行加锁,当使用完资源之后,再解锁,其它线程就可以接着使用了.例如,在JAVA中,甚至专门提供了一些处理锁机制的一些API（synchronize/Lock等）.

但是到了分布式系统的时代,between such threads锁机制,就没作用了,系统可能会有多份并且部署在不同的机器上,这些资源已经不是在线程之间共享了,而是属于进程之间共享的资源.

因此,为了解决这个问题,我们就必须引入分布式锁.分布式锁是指在分布式的部署环境下,通过锁机制来让多客户端互斥的对共享资源进行访问.

目前比较常见的分布式锁实现方案有以下几种：

基于数据库,如MySQL
基于缓存,如Redis
基于Zookeeper、etcd等

我们在讨论使用分布式锁的时候往往首先排除掉基于数据库的方案,本能的会觉得这个方案不够“高级”.从性能的角度考虑,基于数据库的方案性能确实不够优异,整体性能对比：缓存 > Zookeeper、etcd > 数据库.也有人提出基于数据库的方案问题很多,不太可靠.笔者认为采用哪种方案是要基于使用场景来看的,选择哪种方案,合适最重要.

我这里引用一下之前文章中的一个应用场景——分配任务场景.在这个场景中,由于是公司的业务后台系统,主要是用于审核人员的审核工作,并发量并不是很高,而且任务的分配规则设计成了通过审核人员每次主动的请求拉取,然后服务端从任务池中随机的选取任务进行分配.这个场景看到这里你会觉得比较单一,但是实际的分配过程中,由于涉及到了按用户聚类的问题,所以要比我描述的复杂,但是这里为了说明问题,大家可以把问题简单化理解.那么在使用过程中,主要是为了避免同一个任务同时被两个审核人员获取到的问题.在这个场景下使用基于数据库的方案就比较合理.

再补充一下,比如某一个服务它下游依赖数据库来做一些数据的读写操作,模型如下图所示：
在这里插入图片描述
一般服务也是多实例部署,如果多个实例需要操作同一份数据的时候（比如前面所说的同一个任务同时被两个审核人员获取到的问题）,自然而然的引入了分布式锁.不过此时,我们并没有采用数据库的方案,而是引入了Redis,模型如下图所示：
在这里插入图片描述
引入Redis之后,正向的收益我就不赘述了,反向的收益是增加了系统的复杂度,对于整个服务而言,还需要多考虑1和2失效的情况.1失效是指服务模块与Redis的交互出现了异常,这种异常不单是指无法通信的异常,也有可能是服务模块发送请求只Redis的过程中或者Redis响应服务模块的过程中出现的异常,整体服务需要考虑这种情况：是重试、丢弃还是采取其他措施;2失效是指Redis本身出现了异常.数据链路一旦变长,系统复杂度一旦变大,在出现问题的时候会阻碍故障排查以及服务恢复,从而使得服务的整体可用性下调.

反观,如果采用数据库的方案,那么就可以省去了这部分的复杂度,如果数据库的方案能满足当下场景以及可视范围内的未来扩展,为什么还要平白地增加系统复杂度呢？大家要根据具体业务场景选择合适的技术方案,而不是随便找一个足够复杂、足够新潮的技术方案来解决业务问题.

下面我们来了解一下基于数据库（MySQL）的方案,一般分为3类：基于表记录、乐观锁和悲观锁.

基于表记录

要实现分布式锁,最简单的方式可能就是直接创建一张锁表,然后通过操作该表中的数据来实现了.当我们想要获得锁的时候,就可以在该表中增加一条记录,想要释放锁的时候就删除这条记录.

为了更好的演示,我们先创建一张数据库表,参考如下：

CREATE TABLE `database_lock` (
	`id` BIGINT NOT NULL AUTO_INCREMENT,
	`resource` int NOT NULL COMMENT '锁定的资源',
	`description` varchar(1024) NOT NULL DEFAULT "" COMMENT '描述',
	PRIMARY KEY (`id`),
	UNIQUE KEY `uiq_idx_resource` (`resource`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据库分布式锁表';

  
   
  
   
    1
    2
    3
    4
    5
    6
    7

当我们想要获得锁时,可以插入一条数据：

INSERT INTO database_lock(resource, description) VALUES (1, 'lock');

  
   
  
   
    1

注意：在表database_lock中,resource字段做了唯一性约束,这样如果有多个请求同时提交到数据库的话,数据库可以保证只有一个操作可以成功（其它的会报错：ERROR 1062 (23000): Duplicate entry ‘1’ for key ‘uiq_idx_resource’）,那么那么我们就可以认为操作成功的那个请求获得了锁.

当需要释放锁的时,可以删除这条数据：

DELETE FROM database_lock WHERE resource=1;

  
   
  
   
    1

这种实现方式非常的简单,但是需要注意以下几点：

这种锁没有失效时间,一旦释放锁的操作失败就会导致锁记录一直在数据库中,其它线程无法获得锁.这个缺陷也很好解决,比如可以做一个定时任务去定时清理.
这种锁的可靠性依赖于数据库.建议设置备库,避免单点,进一步提高可靠性.
这种锁是非阻塞的,因为插入数据失败之后会直接报错,想要获得锁就需要再次操作.如果需要阻塞式的,可以弄个for循环、while循环之类的,直至INSERT成功再返回.
这种锁也是非可重入的,因为同一个线程在没有释放锁之前无法再次获得锁,因为数据库中已经存在同一份记录了.想要实现可重入锁,可以在数据库中添加一些字段,比如获得锁的主机信息、线程信息等,那么在再次获得锁的时候可以先查询数据,如果当前的主机信息和线程信息等能被查到的话,可以直接把锁分配给它.

乐观锁

顾名思义,系统认为数据的更新在大多数情况下是不会产生冲突的,只在数据库更新操作提交的时候才对数据作冲突检测.如果检测的结果出现了与预期数据不一致的情况,则返回失败信息.

乐观锁大多数是基于数据版本(version)的记录机制实现的.何谓数据版本号？即为数据增加一个版本标识,在基于数据库表的版本解决方案中,一般是通过为数据库表添加一个 “version”字段来实现读取出数据时,将此版本号一同读出,之后更新时,对此版本号加1.在更新过程中,会对版本号进行比较,如果是一致的,没有发生改变,则会成功执行本次操作;如果版本号不一致,则会更新失败.

为了更好的理解数据库乐观锁在实际项目中的使用,这里就列举一个典型的电商库存的例子.一个电商平台都会存在商品的库存,当用户进行购买的时候就会对库存进行操作（库存减1代表已经卖出了一件）.我们将这个库存模型用下面的一张表optimistic_lock来表述,参考如下：

CREATE TABLE `optimistic_lock` (
	`id` BIGINT NOT NULL AUTO_INCREMENT,
	`resource` int NOT NULL COMMENT '锁定的资源',
	`version` int NOT NULL COMMENT '版本信息',
	`created_at` datetime COMMENT '创建时间',
	`updated_at` datetime COMMENT '更新时间',
	`deleted_at` datetime COMMENT '删除时间', 
	PRIMARY KEY (`id`),
	UNIQUE KEY `uiq_idx_resource` (`resource`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据库分布式锁表';

  
   
  
   
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

其中：id表示主键;resource表示具体操作的资源,在这里也就是特指库存;version表示版本号.

在使用乐观锁之前要确保表中有相应的数据,比如：

INSERT INTO optimistic_lock(resource, version, created_at, updated_at) VALUES(20, 1, CURTIME(), CURTIME());

  
   
  
   
    1

如果只是一个线程进行操作,数据库本身就能保证操作的正确性.主要步骤如下：

STEP1 - 获取资源：SELECT resource FROM optimistic_lock WHERE id = 1
STEP2 - 执行业务逻辑
STEP3 - 更新资源：UPDATE optimistic_lock SET resource = resource -1 WHERE id = 1

然而在并发的情况下就会产生一些意想不到的问题：比如两个线程同时购买一件商品,在数据库层面实际操作应该是库存（resource）减2,但是由于是高并发的情况,第一个线程执行之后（执行了STEP1、STEP2但是还没有完成STEP3）,第二个线程在购买相同的商品（执行STEP1）,此时查询出的库存并没有完成减1的动作,那么最终会导致2个线程购买的商品却出现库存只减1的情况.

在引入了version字段之后,那么具体的操作就会演变成下面的内容：

STEP1 - 获取资源： SELECT resource, version FROM optimistic_lock WHERE id = 1
STEP2 - 执行业务逻辑
STEP3 - 更新资源：UPDATE optimistic_lock SET resource = resource -1, version = version + 1 WHERE id = 1 AND version = oldVersion

其实,借助更新时间戳（updated_at）也可以实现乐观锁,和采用version字段的方式相似：更新操作执行前线获取记录当前的更新时间,在提交更新时,检测当前更新时间是否与更新开始时获取的更新时间戳相等.

乐观锁的优点比较明显,由于在检测数据冲突时并不依赖数据库本身的锁机制,不会影响请求的性能,当产生并发且并发量较小的时候只有少部分请求会失败.缺点是需要对表的设计增加额外的字段,增加了数据库的冗余,另外,当应用并发量高的时候,version值在频繁变化,则会导致大量请求失败,影响系统的可用性.我们通过上述sql语句还可以看到,数据库锁都是作用于同一行数据记录上,这就导致一个明显的缺点,在一些特殊场景,如大促、秒杀等活动开展的时候,大量的请求同时请求同一条记录的行锁,会对数据库产生很大的写压力.所以综合数据库乐观锁的优缺点,乐观锁比较适合并发量不高,并且写操作不频繁的场景.

悲观锁

除了可以通过增删操作数据库表中的记录以外,我们还可以借助数据库中自带的锁来实现分布式锁.在查询语句后面增加FOR UPDATE,数据库会在查询过程中给数据库表增加悲观锁,也称排他锁.当某条记录被加上悲观锁之后,其它线程也就无法再改行上增加悲观锁.

悲观锁,与乐观锁相反,总是假设最坏的情况,它认为数据的更新在大多数情况下是会产生冲突的.

在使用悲观锁的同时,我们需要注意一下锁的级别.MySQL InnoDB引起在加锁的时候,只有明确地指定主键(或索引)的才会执行行锁 (只锁住被选取的数据),否则MySQL 将会执行表锁(将整个数据表单给锁住).

在使用悲观锁时,我们必须关闭MySQL数据库的自动提交属性（参考下面的示例）,因为MySQL默认使用autocommit模式,也就是说,当你执行一个更新操作后,MySQL会立刻将结果进行提交.

mysql> SET AUTOCOMMIT = 0;
Query OK, 0 rows affected (0.00 sec)

  
   
  
   
    1
    2

这样在使用FOR UPDATE获得锁之后可以执行相应的业务逻辑,执行完之后再使用COMMIT来释放锁.

我们不妨沿用前面的database_lock表来具体表述一下用法.假设有一线程A需要获得锁并执行相应的操作,那么它的具体步骤如下：

STEP1 - 获取锁：SELECT * FROM database_lock WHERE id = 1 FOR UPDATE;.
STEP2 - 执行业务逻辑.
STEP3 - 释放锁：COMMIT.

如果另一个线程B在线程A释放锁之前执行STEP1,那么它会被阻塞,直至线程A释放锁之后才能继续.注意,如果线程A长时间未释放锁,那么线程B会报错,参考如下（lock wait time可以通过innodb_lock_wait_timeout来进行配置）：

ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

  
   
  
   
    1

上面的示例中演示了指定主键并且能查询到数据的过程（触发行锁）,如果查不到数据那么也就无从“锁”起了.

如果未指定主键（或者索引）且能查询到数据,那么就会触发表锁,比如STEP1改为执行（这里的version只是当做一个普通的字段来使用,与上面的乐观锁无关）：

SELECT * FROM database_lock WHERE description='lock' FOR UPDATE;

  
   
  
   
    1

或者主键不明确也会触发表锁,又比如STEP1改为执行：

SELECT * FROM database_lock WHERE id>0 FOR UPDATE;

  
   
  
   
    1

注意,虽然我们可以显示使用行级锁（指定可查询的主键或索引）,但是MySQL会对查询进行优化,即便在条件中使用了索引字段,但是否真的使用索引来检索数据是由MySQL通过判断不同执行计划的代价来决定的,如果MySQL认为全表扫描效率更高,比如对一些很小的表,它有可能不会使用索引,在这种情况下InnoDB将使用表锁,而不是行锁.

在悲观锁中,每一次行数据的访问都是独占的,只有当正在访问该行数据的请求事务提交以后,其他请求才能依次访问该数据,否则将阻塞等待锁的获取.悲观锁可以严格保证数据访问的安全.但是缺点也明显,即每次请求都会额外产生加锁的开销且未获取到锁的请求将会阻塞等待锁的获取,在高并发环境下,容易造成大量请求阻塞,影响系统可用性.另外,悲观锁使用不当还可能产生死锁的情况.

参考资料：