您的位置:首页 > 教程 > Redis > 使用Redis缓存时高效的批量删除的几种方案

使用Redis缓存时高效的批量删除的几种方案

2023-01-24 10:37:34 来源:易采站长站 作者:

目录前因后果批量删除redis数据方法利用的是linux的xargs命令xargs指令命令格式参数:使用Lua脚本删除百万/千万级的keyLua脚本是什么?Lua脚本的指令格式Lua脚本执行参数Lua...

目录
前因后果
批量删除Redis数据方法
利用的是linux的xargs命令
xargs指令
命令格式
参数:
使用Lua脚本删除百万/千万级的key
Lua脚本是什么?
Lua脚本的指令格式
Lua脚本执行参数
Lua获取传参数据
示例
Lua脚本的案例(keys)
scan介绍
Lua脚本的案例(scan)

前因后果

之前我们的服务,在上线的时候发现有一些大Key的使用不是很规范,特别是没有设置过期时间,因此导致redis中内存的数据越来越多,目前Redis节点的内存已经快撑不住了。所以根据缓存键的规则去批量删除这些数据,比较常见的就是按前缀去删除。

现在由于不得以为的原因要删除这几百个Key-Value的数据,这个时候我们肯定就要把缓存键全部删除掉。一般情况下在Redis中是可以很容易去实现的。但是如果在不阻塞业务的前提下,并且以高效的方式进行清理内存数据。就需要好好想想办法了。

批量删除redis数据方法

利用的是Linux的xargs命令

我们可以通过redis-cli的模式,进行访问之后登录到了Redis-Server服务,由于是必须要使用Linux的xargs命令,所以必须要连带指令在Linux环境,而不能提前通过redis-cli进行登录到redis-server服务。否则会报错说​​xargs​​无效。

redis-cli -h [ip] -p [port ] -a [password] keys "prefix*" | xargs redis-cli -h 127.0.0.1 -p 6379 -a '123' del

上面的指令主要由三部分连接组成:

redis-cli -h [ip] -p [port ] -a [password]:主要需要用于登录到redis-cli的只处理操作。
keys "prefix*":随后主要是通过redis-cli的命令进行 keys指令进行匹配某前缀相关的数据集合。
| xargs redis-cli -h [ip] -p [port ] -a [password] del:主要是通过管道符进行连接,之后再进行连接redis-server服务,之后进行将之前的参数传入到xargs之后,作为del的参数进行执行删除操作。

xargs指令

xargs:是一条Unix和类Unix操作系统的常用命令;它的作用是将参数列表转换成小块分段传递给其他命令,以避免参数列表过长的问题。可单独使用,也可使用管道符、重定位符等与其他命令配合使用。

xargs [ -p ] [ -t] [ -e[ EOFString ] ] [ -EEOFString ] [ -i[ ReplaceString ] ] [ -IReplaceString ] [ -l [ Number ] ] [ -L Number ] [ -n Number [ -x ] ] [ -s Size ] [ Command [ Argument ... ] ]

命令格式

xargs:一般是和管道一起使用。

somecommand |xargs -item command

参数:

-a file 从文件中读入作为 stdin
-e flag ,注意有的时候可能会是-javascriptE,flag必须是一个以空格分隔的标志,当xargs分析到含有flag这个标志的时候就停止。
-p 当每次执行一个argument的时候询问一次用户。
-n num 后面加次数,表示命令在执行的时候一次用的argument的个数,默认是用所有的。
-t 表示先打印命令,然后再执行。
-i 或者是-I,这得看linux支持了,将xargs的每项名称,一般是一行一行赋值给 {},可以用 {} 代替。
-r no-run-if-empty 当xargs的输入为空的时候则停止xargs,不用再去执行了。
-s num 命令行的最大字符数,指的是 xargs 后面那个命令的最大命令行字符数。
-L num 从标准输入一次读取 num 行送给 command 命令。
-l 同 -L。
-d delim 分隔符,默认的xargs分隔符是回车,argument的分隔符是空格,这里修改的是xargs的分隔符。
-x exit的意思,主要是配合-s使用。。
-P 修改最大的进程数,默认是1,为0时候为as many as it can ,这个例子我没有想到,应该平时都用不到的吧。

使用Lua脚本删除百万/千万级的key

如果以上xargs方法删除不了的,或者执行xargs命令报错的。那么可以使用lua脚本,redis有内置的lua解释器。在lua脚本中使用scan扫描key,并依次删除,当删除数量达到1万时,脚本直接返回,完成本次调用,如果删除的key数量大于0,就循环调用脚本进行删除。

Warning: a NUL character occurred in the input. It cannot be passed through in the argument list. Did you mean to use the --null option?

Lua脚本是什么?

Lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。

Lua脚本的指令格式

有兴趣的小伙伴,可以参考:​ ​http://redis.cn/commands/eval.html​​

EVAL script numkeys key [key …] arg [arg …]
script:待执行的脚本文件
numkeys:key的个数

Lua脚本执行参数

​[key …]​​:对应的key,可以是一个,可以是多个
​[arg …]​​:与key对应的值,可以是一个,可以是多个

Lua获取传参数据

Lua的下表索引是从1开始的,key的获取方式,KEYS[下标索引],如KEYS[1],取第一个值,值的获取,ARGV[1]

示例

eval “return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}” 2 key1 key2 first second

Lua脚本的案例(keys)

获取传入的需要批量删除的key的前缀
记住 lua的下标索引是从1开始 不是0 不是0 不是0
local key = KEYS[1]
if( key ~= nil) then
--这里通过keys查询出所有符合条件的数据
local dataList = redis.call('keys',KEYS[1])
--判断是否找到数据
if(dataList ~= nil) then
--循环删除
for i=1,#dataList,1 do
redis.call('del',dataList[i])
end
--返回删除的行数
return #dataList
else
return 0
end
else
return 0
end

推荐使用scan获取数据删除,我们知道redis是一个单线程的,当我们库里面存在大量数据的时候,使用keys * 的方式匹配数据的时候,可能需要好几秒才能处理完,那么在这个几秒的时间里是处于线程阻塞的,其他所有的redis操作都是处于等待状态,这样对系统的可用性是有影响的,因此,这里使用scan的方式匹配数据。

scan介绍

SCAN cursor [MATCH pattern] [COUNT count]

SCAN 命令是一个基于游标的迭代器(cursor based iterator): SCAN 命令每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 SCAN 命
令的游标参数, 以此来延续之前的迭代过程。

Lua脚本的案例php(scan)

local limitSize = tonumber(ARGV[1]) -- 最多删除多少个key
local BATchSize = limitSize -- scan一次最多扫描多少个key
if (batchSize > 10000) then -- 一次扫描不能超过1w条
batchSize = 10000
end
local function scan(key)
local cursor = 0
local keynum = 0
repeat
local res = redis.call("scan", cursor, "match", key, 'COUNT', batchSize)
if (res ~= nil and #res >= 0) then
redis.replicate_commands()
cursor = tonumber(res[1])
local ks = res[2]
local size = #ks
for i=1,size,1 do
redis.call("del", tostring(ks[i]))
keynum = keynum + 1
if (keynum >= limitSize) then -- 已经删除了指定数量的key, 返回
return keynum
end
end
end
until (cursor <= 0)
return keynum
end
local total = scan(KEYS[1])
return total

当 SCAN 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 而当服务器向用户返回值为 0 的游标时, 表示迭代已结束。

通俗点理解就是,基于游标的迭代器redis会慢慢一次次的将数据返回回来,从而防止线程阻塞。

此外还有一个小贴士就是可以使用UNLINK删除,区别于del的是这个是异步执行的,这条指令要版本大于4.0.0 小于4.0.0就使用del

redis.call("UNLINK",key)

到此这篇关于使用Redis缓存时高效的批量删除的几种方案的文章就介绍到这了,更多相关Redis批量删除的几种方案内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

如有侵权,请发邮件到 [email protected]

相关文章

  • redis 数据删除策略和逐出算法的问题小结

    redis 数据删除策略和逐出算法的问题小结

    数据存储和有效期 在 redis 工作流程中,过期的数据并不需要马上就要执行删除操作。因为这些删不删除只是一种状态表示,可以 异步 的去处理,在不忙的时候去把这些不紧急的删除操
    2020-06-12
  • Redis的持久化方案详解

    Redis的持久化方案详解

    Redis支持RDB与AOF两种持久化机制,持久化可以避免因进程异常退出或down机导致的数据丢失问题,在下次重启时能利用之前的持久化文件实现数据恢复。 RDB持久化 RDB持久化即通过创建快
    2020-03-18
  • redis操作学习记录

    redis操作学习记录

    本文实例总结了redis操作。,具体如下: 相关内容: 虽然有参考文档,而且记忆太多也是耗脑,但学习的时候还是想要有个系统划分开知识点的文档,即使不要求去细致记忆,但划分开
    2020-04-28
  • Redis实现分布式Session管理的机制详解

    Redis实现分布式Session管理的机制详解

    一. Redis实现分布式Session管理1. Memcached管理机制2. Redis管理机制1.redis的session管理是利用spring提供的session管理解决方案,将一个应用session交给Redis存储,整个应用中所有session的请求都会去redis中获取对应的session数据。二. SpringBoot项目开发Session管理1. 引入依赖pop.xml
    2022-05-28
  • mac下redis安装、设置、启动停止方法详解

    mac下redis安装、设置、启动停止方法详解

    需要下载release版本,下载地址: http://download.redis.io/releases/ 我这里下载的是: http://download.redis.io/releases/redis-3.2.5.tar.gz 解压到/usr/local/redis目录中,然后依次执行以下命令: cd /usr/loca
    2020-02-07
  • Spring boot+redis实现消息发布与订阅的代码

    Spring boot+redis实现消息发布与订阅的代码

    一.创建spring boot项目 dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-data-redis/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId
    2020-04-28
  • 使用Redis实现微信步数排行榜功能

    使用Redis实现微信步数排行榜功能

    1. 前言 之前写过一篇博客,讲解的是Redis的5种数据结构及其常用命令,当时有读者评论,说希望了解下这5种数据结构各自的使用场景,不过一直也没来得及写。 碰巧,在3月份找工作面
    2020-06-04
  • 使用SpringBoot + Redis 实现接口限流的方式

    使用SpringBoot + Redis 实现接口限流的方式

    目录配置限流注解定制 RedisTemplateLua 脚本注解解析接口测试全局异常处理Redis 除了做缓存,还能干很多很多事情:分布式锁、限流、处理请求接口幂等性。。。太多太多了配置首先我们创建一个> org.springframework.boot spring-boot-starter-dat
    2022-05-28