一篇搞定Redis中的BigKey问题

前段时间，看到这个BigKey的问题，因为理解的模糊不清的不太舒服，于是就有了下文的总结。

这次都给他拿下，整得明明白白的

正菜来了

redis中的BigKey问题及解决方案

BigKey问题是什么

BigKey的具体表现是redis中的key对应的value很大，占用的redis空间比较大，

本质上是大value问题

。

对于redis中不同的数据结构类型，常几个常见的例子:

● 对于String类型的value值，值超过10MB（数据值太大）；

● 对于Set类型的value值，含有的成员数量为10000个（成员数量多）；

● 对于List类型的value值，含有的成员数量为10000个（成员数量多）；

● 对于Hash格式的value值，含有的成员数量1000个，但所有成员变量的总value值大小为1000MB（成员总的体积过大）；

BigKey问题怎么产生

• redis中的key-value键值对设置不当，造成key对应的
  value值
  特别大。

• 对于list，set这种类型的结构，
  无效的数据
  没有及时的删除。

• 对业务分析不准确，导致
  实际业务中value值
  过大，如热点问题。

BigKey问题怎么定位

• 使用redis自带的命令 redis-cli --bigkeys 在线扫描大key，显示的信息不详细，并且这个命令不是阻塞的，所以不影响redis的正常使用。

• 使用第三方工具redis-rdb-tools，使用过程中会先使用bgsave命令dump一个rdb镜像，然后对这个镜像进行分析，因为bgsave是redis中的一个子线程进行生成镜像的，并不影响redis对外提供服务。

• debug object方法

C:\Users\93676\Desktop>redis-cli
127.0.0.1:6379> set a "sadasd"
OK
127.0.0.1:6379> debug object a
Value at:00007FCD3EC12FE0 refcount:1 encoding:embstr serializedlength:7 lru:14754079 lru_seconds_idle:15

serializedlength

表示的是a这个key对应的value经过embstr压缩之后的字节数，这里涉及到一点redis中的

String底层结构

的之后，redis3.2 版本之后，当string不是数字字符串的时候，字节数大于44，使用raw的方式存储，当下雨44字节的时候使用embstr的方式存储，也就是压缩后的字符串。

BigKey造成的影响

• 占用内存增大

相比于正常的Key，读取大key需要的内存会有所增大，如果像是value中的list不断变大，可能会造成OOM（内存溢出），还有一种就是达到redis设置的最大内存maxmemory值会造成写阻塞或者部分重要的Key被redis的淘汰策略给删除了。

• 网络阻塞延迟变大

在读取大key的时候，由于读取的内容较多，占用较大的带宽，造成网络带宽的阻塞，也会影响其他的应用，导致网络阻塞延迟变大。

• IO阻塞延迟增大

BigKey问题对应的value相对较大，当对较大的value进行读写，耗费的时间较长，这样就可能阻塞后续的请求处理，其实主要是BigKey的value进行IO写的时候会耗费较长的时时间，IO写是把处理之后值通过网络返回给请求端，因为Redis的核心线程是单线程，也就是工作线程是单线程，单线程中的任务处理是串行执行的，前面的任务完成之后，后面的任务才能继续执行，所以因为单个BigKey的原因可能造成IO阻塞延迟。

• BigKey迁移困难

这个问题是出现在

Redis集群

中，当需要对大value进行迁移（对于Redis 集群slot的迁移），主要是使用migrate命令进行迁移的，

migrate命令是通过dump和restore和del三个命令组合

成原子命令完成，如果是存在bigkey的话，可能会因为大value的原因导致迁移失败，而且较慢的migrate会阻塞Redis，影响Redis服务。

BigKey问题如何解决

• 针对BigKey进行
  拆分

通过将BigKey拆分成多个小Key的键值对，并且拆分后的对应的value大小和拆分成的成员数量比较合理，然后进行存储即可，在获取的时候通过get不同的key或是用mget批量获取存储的键值对。

• 清理
  无效
  的数据

这个主要是针对像是list和set这种类型，在使用的过程中，list和set中对应的内容不断增加，但是由于之前存储的已经是无效的了，需要定时的对list和set进行清理。

• 压缩对应的BigKey的value

可以通过序列化或者压缩的方法对value进行压缩，是其变为较小的value，但是如果压缩之后如果对应的value还是特别大的话，就需要使用拆分的方法进行解决了。

• 监控Redis中内存，带宽，增长率

通过监控系统，监控redis中的内存占用大小和网络带宽的占用大小，以及固定时间内的内存占用增长率，当超过设定的阈值的时候，进行报警通知处理。

温馨提醒：这个有点多，请仔细看下去

拓展

热key问题

相对于BigKey，热Key也是一个值得关注的点。

热key

：对于Redis中的某个Key接收到的QPS、显著高于其它Key，我们称之为热Key，常见的热Key如

热key产生的问题

：热Key因为频繁的访问。占用大量的Redis CPU时间使其性能变差并影响其它请求；

热key的解决方案

：可以使用使用

读写分离架构

，如果热Key的产生来自于读请求，那么读写分离是一个很好的解决方案。在使用读写分离架构时可以通过不断的增加从节点来降低每个Redis实例中的读请求压力。

总结

对于BigKey的问题的原因：也就是Redis键值对中对应的value比较大。

对于BigKey问题的发现：可以通过第三方工具或者自带的命令进行扫描发现。

对于BigKey问题的解决方案：通过拆分，压缩，清理无效数据等方法对这些大value进行处理即可。