Redis与Lua脚本
lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。
Lua应用场景:游戏开发、独立应用脚本、Web应用脚本、扩展和数据库插件。
-
nginx上使用 lua 实现高并发
-
OpenRestry:一个可伸缩的基于Nginx的Web平台,是在nginx之上集成了lua模块的第三方服务器
OpenRestry是一个通过Lua扩展Nginx实现的可伸缩的Web平台,内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。
用于方便地搭建能够处理超高并发(日活千万级别)、扩展性极高的动态Web应用、Web服务和动态网关。
功能和nginx类似,就是由于支持lua动态脚本,所以更加灵活。
OpenRestry通过Lua脚本扩展nginx功能,可提供负载均衡、请求路由、安全认证、服务鉴权、流量控制与日志监控等服务。
类似的还有Kong(Api Gateway)、tengine(阿里)
创建并修改lua环境
-
- 下载
地址:http://www.lua.org/download.html
可以本地下载上传到linux,也可以使用curl命令在linux系统中进行在线下载
1
2[root@Linux121 ~]# cd /opt/lagou/software
[root@Linux121 software]# curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz -
- 安装
1
2
3
4[root@Linux121 software]# yum -y install readline-devel ncurses-devel
[root@Linux121 software]# tar -zxvf lua-5.3.5.tar.gz
[root@Linux121 software]# cd lua-5.3.5/src/
[root@Linux121 src]# make linux -
- 最后,直接输入 lua 命令即可进入lua的控制台
1
2
3[root@Linux121 src]# lua
Lua 5.1.4 Copyright (C) 1994-2008 Lua.org, PUC-Rio
>
Lua环境协作组件
从Redis2.6.0版本开始,通过内置的lua编译/解释器,可以使用EVAL命令对lua脚本进行求值。
脚本的命令是原子的,RedisServer在执行脚本命令中,不允许插入新的命令。
脚本的命令可以复制,RedisServer在获得脚本后不执行,生成标识返回,Client根据标识就可以随时执行。
EVAL命令
通过执行redis的eval命令,可以运行一段lua脚本。
1 | EVAL script numkeys key [key ...] arg [arg ...] |
-
script参数:是一段Lua脚本程序,它会被运行在Redis服务器上下文中,这段脚本不必(也不应该)定义为一个Lua函数。
-
numkeys参数:用于指定键名参数的个数。
-
key [key …]参数: 从EVAL的第三个参数开始算起,使用了numkeys个键(key),表示在脚本中所用到的那些Redis键(key),这些键名参数可以在Lua中通过全局变量KEYS数组,用1为基址的形式访问( KEYS[1] , KEYS[2] ,以此类推)。
-
arg [arg …]参数:可以在Lua中通过全局变量ARGV数组访问,访问的形式和KEYS变量类似(ARGV[1] 、 ARGV[2] ,诸如此类)。
1
2
3
4
5127.0.0.1:6379> eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"1
2
3
4127.0.0.1:6379> eval "return redis.call('set',KEYS[1],ARGV[1])" 1 n1 zhaoyun
OK
127.0.0.1:6379> get n1
"zhaoyun" -
redis.call()
返回值就是redis命令执行的返回值,如果出错,则返回错误信息,不继续执行
-
redis.pcall():
返回值就是redis命令执行的返回值,如果出错,则记录错误信息,继续执行
注意事项: 在脚本中,使用return语句将返回值返回给客户端,如果没有return,则返回nil
EVALSHA
EVAL 命令要求你在每次执行脚本的时候都发送一次脚本主体(script body)。
Redis 有一个内部的缓存机制,因此它不会每次都重新编译脚本,不过在很多场合,付出无谓的带宽来传送脚本主体并不是最佳选择。
为了减少带宽的消耗, Redis 实现了 EVALSHA 命令,它的作用和 EVAL 一样,都用于对脚本求值,但它接受的第一个参数不是脚本,而是脚本的 SHA1 校验和(sum)
SCRIPT命令
-
SCRIPT FLUSH :清除所有脚本缓存
-
SCRIPT EXISTS :根据给定的脚本校验和,检查指定的脚本是否存在于脚本缓存
-
SCRIPT LOAD :将一个脚本装入脚本缓存,返回SHA1摘要,但并不立即运行它
1
2
3
4
5192.168.24.131:6380> script load "return redis.call('set',KEYS[1],ARGV[1])"
"c686f316aaf1eb01d5a4de1b0b63cd233010e63d"
192.168.24.131:6380> evalsha c686f316aaf1eb01d5a4de1b0b63cd233010e63d 1 n2 zhangfei
OK
192.168.24.131:6380> get n2 -
SCRIPT KILL :杀死当前正在运行的脚本
脚本管理命令实现
使用redis-cli直接执行lua脚本。
进入redis的安装目录/usr/redis/bin下创建test.lua文件,内容如下:
1 | return redis.call('set',KEYS[1],ARGV[1]) |
使用eval执行脚本
1 | cd /usr/redis/bin |
进入redis的安装目录/usr/redis/bin下创建list.lua文件,内容如下
1 | local key=KEYS[1] |
使用eval执行脚本
1 | ./redis-cli --eval list.lua list |
利用Redis整合Lua,主要是为了性能以及事务的原子性。因为redis帮我们提供的事务功能太差。
脚本复制
Redis 传播 Lua 脚本,在使用主从模式和开启AOF持久化的前提下。
当执行lua脚本时,Redis 服务器有两种模式:脚本传播模式和命令传播模式。
脚本传播模式
脚本传播模式是 Redis 复制脚本时默认使用的模式
Redis会将被执行的脚本及其参数复制到 AOF 文件以及从服务器里面。
执行以下命令:
1 | eval "redis.call('set',KEYS[1],ARGV[1]);redis.call('set',KEYS[2],ARGV[2])" 2 n1 n2zhaoyun1 zhaoyun2 |
那么主服务器将向从服务器发送完全相同的 eval 命令:
1 | eval "redis.call('set',KEYS[1],ARGV[1]);redis.call('set',KEYS[2],ARGV[2])" 2 n1 n2zhaoyun1 zhaoyun2 |
注意:在这一模式下执行的脚本不能有时间、内部状态、随机函数(spop)等。执行相同的脚本以及参数必须产生相同的效果。在Redis5,也是处于同一个事务中。
命令传播模式
处于命令传播模式的主服务器会将执行脚本产生的所有写命令用事务包裹起来,然后将事务复制到 AOF 文件以及从服务器里面。
因为命令传播模式复制的是写命令而不是脚本本身,所以即使脚本本身包含时间、内部状态、随机函数等,主服务器给所有从服务器复制的写命令仍然是相同的。
为了开启命令传播模式,用户在使用脚本执行任何写操作之前,需要先在脚本里面调用以下函数:
1 | redis.replicate_commands() |
redis.replicate_commands() 只对调用该函数的脚本有效:在使用命令传播模式执行完当前脚本之后,服务器将自动切换回默认的脚本传播模式。
如果我们在主服务器执行以下命令:
1 | eval "redis.replicate_commands();redis.call('set',KEYS[1],ARGV[1]);redis.call('set',K EYS[2],ARGV[2])" 2 n1 n2 zhaoyun11 zhaoyun22 |
那么主服务器将向从服务器复制以下命令:
1 | EXEC *1 $5 MULTI *3 $3 set $2 n1 $9 zhaoyun11 *3 $3 set $2 n2 $9 zhaoyun22 *1 $4 EXEC |
小结
管道(pipeline),事务和脚本(lua)三者的区别
-
三者都可以批量执行命令
-
管道无原子性,命令都是独立的,属于无状态的操作
-
事务和脚本是有原子性的,其区别在于脚本可借助Lua语言可在服务器端存储的便利性定制和简化操作
-
脚本的原子性要强于事务,脚本执行期间,另外的客户端 其它任何脚本或者命令都无法执行,脚本的执行时间应该尽量短,不能太耗时的脚本