
Redis 之单机、主从、集群、哨兵部署
本文最后更新于 2024-06-20,文章内容可能已经过时。
Redis 之单机、主从、集群、哨兵部署
Redis是一个key-value存储系统。和Memcached类似,它支持存储的Value类型相对更多,包括String(字符串)、List(链表)、Set(集合)、Zset(sorted set --有序集合)和Hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,Redis支持各种不同方式的排序。与Memcached一样,为了保证效率,数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
前言
Redis单节点
单台Redis服务部署启动即可
优势:
部署简单
省钱,一台服务器就可以了
不涉及主从复制等,数据强一致
缺陷:
单点意味着稳定性基本上为 0,挂了就挂了
吞吐量受限于单机资源
Redis群集有三种模式
主从复制
优势:
主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。
缺陷:
故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
哨兵
优势:
在主从复制的基础上,哨兵实现了自动化的故障恢复。
缺陷:
写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。
集群
优势:
通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。
单机模式
下载
找到对应的版本
https://download.redis.io/releases/
安装依赖
解压
运行编译命令
耐心等待一段时间,没有明显的出错的话应该就安装成功了,其默认安装路径是/usr/local/redis/bin/目录,所以我们需要到该目录检查一下
该目录已经默认配置到环境变量,因此可以在任意目录下运行这些命令,其中:
- redis-cli: 是Redis提供的命令行客户端
- redis-server: 是Redis的服务端启动脚本
- redis-sentinel: 是Redis的哨兵启动脚本
启动Redis
启动Redis有很多种方式,在这里介绍以下三种:
- 默认启动
- 指定配置启动
- 开机自启
默认启动
安装完成后,可在任意目录下运行redis-server命令启动Redis:
出现redis的日志界面,运行成功:
这种方式为前台启动,会阻塞整个会话窗口,此时需要打开另一个窗口进行连接,窗口关闭或者按下【ctrl+c】则Redis停止。此种方式不推荐使用。
指定配置文件启动
若要让Redis以后台方式启动,则需要修改Redis的配置文件,复制文件至redis-server命令下
修改配置文件
- 监听的地址,默认是127.0.0.1,会导致只能在本地访问,改为0.0.0.0表示任何ip都可以访问,生产环境不要设置成0.0.0.0
- 守护进程,修改为yes后可后台进行
- 密码,设置后访问Redis必须输入密码
Redis的其他常用配置
修改保存后,启动Redis,加上配置文件的全路径,这里若是在Redis安装目录下,可省去全路径。
可查看redis 的进程。
开机自启
1、将Redis加入开机自启服务,在/etc/systemd/system创建redis.service文件并加入内容
参考文件位置:/opt/redis-6.2.9/utils/systemd-redis_server.service
2、重新加载配置
3、启动Redis
4、查看Redis状态
5、设置开机自启
配置PATH
主从复制
基本原理
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。
默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
作用
数据冗余: 主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
故障恢复: 当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
负载均衡: 在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
高可用基石: 除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
流程
若启动一个Slave机器进程,则它会向Master机器发送一个“sync command”命令,请求同步连接。
无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中。
后台进程完成缓存操作之后,Master机器就会向Slave机器发送保存的快照数据文件,并继续记录执行的写命令;Slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,载入数据,接着Master机器快照发送完后,就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机,则恢复正常后会自动重新连接。
Master机器收到Slave端机器的连接后,将其完整的数据文件发送给Slave端机器,如果Mater同时收到多个Slave发来的同步请求,则Master会在后台启动一个进程以保存数据文件,然后将其发送给所有的Slave端机器,确保所有的Slave端机器都正常。
此后Master每次执行一个写命令都会同步发送给Slave,保持Master与Slave之间数据的一致性
客户端可以对Master进行读写操作,对Slave进行读操作,Master写入的数据会实时自动同步给Slave。
搭建主动复制
节点 | IP |
---|---|
主服务器 master | 192.168.10.101 |
从服务器 slave1 | 192.168.10.102 |
从服务器 slave2 | 192.168.10.103 |
准备redis-6.2.9.tar.gz压缩包
环境准备
修改主服务器配置
配置服务
1、将Redis加入开机自启服务,在/etc/systemd/system创建redis.service文件并加入内容
2、重新加载配置
3、启动Redis
4、查看Redis状态
5、设置开机自启
从服务器配置(Slave1和Slave2)
配置服务
1、将Redis加入开机自启服务,在/etc/systemd/system创建redis.service文件并加入内容
2、重新加载配置
3、启动Redis
4、查看Redis状态
5、设置开机自启
配置PATH(所有节点)
查看主从复制信息
如果配置了密码,可以使用 -a
参数指定密码
查看从节点信息
验证主从复制
Master
Slave1
哨兵模式——Sentinel
定义
哨兵模式基于主从复制模式,只是引入了哨兵来监控与自动处理故障。主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。
原理
哨兵(Sentinel):是一个分布式系统,用于对主从结构中的每台服务器(所有Redis数据节点,为了实现故障自动切换)进行监控,当出现故障时通过投票机制选择新的 Master并将所有slave连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。(哨兵集群之间也会互相监控,检测彼此之间的存活状态)
作用
监控: 哨兵会不断地检查主节点和从节点是否运作正常。
自动故障转移: 当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。
通知(提醒): 哨兵可以将故障转移的结果发送给客户端。
组成
哨兵节点: 哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的Redis节点,不存储数据。
数据节点: 主节点和从节点都是数据节点。
工作机制
在配置文件中通过 sentinel monitor
一条连接用来订阅master的_sentinel_:hello频道与获取其他监控该master的哨兵节点信息
另一条连接定期向master发送INFO等命令获取master本身的信息
由哨兵节点定期监控发现主节点是否出现了故障每个哨兵节点定期(一般10s一次,当master被标记为主观下线时,改为1s一次)向master和slave发送INFO命令,每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数哨兵节点认为该主节点主观下线了,这样就客观下线了。(民主的选举机制)
当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一个哨兵节点为Leader,来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。
由Leader哨兵节点执行故障转移,过程如下:
将某一个从节点升级为新的主节点,让其它从节点指向新的主节点;
若原主节点恢复也变成从节点,并指向新的主节点;
通知客户端主节点已经更换,完成其他的从服务器对新的Master配置。
需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。
主节点的选举:
过滤掉不健康的(已下线的),没有回复哨兵 Ping 响应的从节点。
选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
选择复制偏移量最大,也就是复制最完整的从节点。
哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式
搭建哨兵模式
节点 | IP |
---|---|
主服务器 master | 192.168.10.101 |
从服务器 slave1 | 192.168.10.102 |
从服务器 slave1 | 192.168.10.103 |
先搭建Redis的主从复制
环境准备
配置主服务器哨兵
配置从服务器哨兵
启动哨兵模式(先启动主,再依次启动从)
Slave1
Slave2
故障模拟
验证
Master
Slave1
Slave2
群集模式——Cluster
原理
集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
哨兵模式解决了主从复制不能自动故障转移,达不到高可用的问题,但还是存在难以在线扩容,Redis容量受限于单机配置的问题。Cluster模式实现了Redis的分布式存储,即每台节点存储不同的内容,来解决在线扩容的问题。
作用
数据分区:数据分区(或称数据分片)是集群最核心的功能。集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。
高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。
特点
Cluster采用无中心结构
所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽
节点的fail是通过集群中超过半数的节点检测失效时才生效
客户端与redis节点直连,不需要中间代理层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
工作机制
在Redis的每个节点上,都有一个插槽(slot),取值范围为0-16383,集群的每个节点负责一部分哈希槽
当我们存取key的时候,Redis会根据CRC16的算法得出一个结果,然后把结果对16384求余数,这样每个key都会对应一个编号在0-16383之间的哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作。
以3个节点组成的集群为例:
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽
为了保证高可用,Cluster模式也引入主从复制模式,一个主节点对应一个或者多个从节点,当主节点宕机的时候,就会启用从节点
当其它主节点ping一个主节点A时,如果半数以上的主节点与A通信超时,那么认为主节点A宕机了。如果主节点A和它的从节点都宕机了,那么该集群就无法再提供服务了
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个Slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用。
Cluster模式集群节点最小配置6个节点(3主3从,因为需要半数以上),其中主节点提供读写操作,从节点作为备用节点,不提供请求,只作为故障转移使用。
搭建群集模式
Redis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在同一台服务器上模拟:
以端口号进行区分:3个主节点端口号:6001/6002/6003,对应的从节点端口号:6004/6005/6006。
启用脚本配置集群
修改集群配置
依次修改Redis6001-Redis6006的配置文件
开启节点
启动集群
测试集群
总结
主从复制
Redis主从复制是一种同步机制,主服务器数据的修改会实时同步到从服务器上,为了实现数据冗余和读写分离
在这两种模式中,有两种角色主节点(Master)和从节点(Slave),主节点负责处理写的操作,并将数据更改复制到一个或多个从节点。
这样我们的主节点负载减轻,从节点可以提供数据读取服务,实现读写分离,如果主节点停止服务,从节点之一可以立即接管主节点的角色,再继续提供服务。
流程:
从节点启动成功连接主节点后,发送一个sync命令
主节点接受到sync的命令后开始在后台保存快照,同时,它也开始记录接收到rsnc后所有执行写的命令,快照完成后会将这个快照文件发送给从节点。
从节点收到快照文件之后开始载入,并持续接受主节点发送过来的新的写命令执行
总的来说 通过主从复制,Redis 能够实现数据的备份(Master 产生的数据能Slave备份),负责均衡(读操作可以分摊到Slave上去)和高可用(Master宕机后,可以由Slave进行故障切换)
哨兵机制——Sentinel
哨兵是一个高可用的行解决方案官方认可默认模式,Redis 哨兵是一个用于管理多个Reids服务的系统,它提供监控、通知、自动故障转移、配置提供服务的功能,以实现Redis高可用性
监控: Redis 哨兵会持续监控Master和Slave实例是否正常运行
通知: 如某个Redis实例有问题,哨兵可以通过API向管理员或者其他应用发信通知
自动故障转移: 如果Master节点不工作,哨兵会开始故障转移的过程,选择一个Slave节点晋升为新的Master,其他剩余Slave的节点会被重新配置为信的Master节点的Slave
配置提供服务: 客户端可以使用哨兵来查询被认证的Master节点该Master节点的目录所有的Slave节点
集群模式——Cluster
Cedis Cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案,提供一组Redis服务之间的网络接口。
Cluster集群特点:
- 读写可以负载均衡
- 自动故障转移
- 突破了单机存储限制
Master特点:
- 可读可写
- 利用分布式特性,提高存储上线,不受单机限制
- 还可以进行故障转移
Slave特点:
- 同步自身的Master信息
- 提供可读
- 冗余备份
- 准备顶替Master
数据分片: Redis Cluster 实现了就爱那个数据自动分片,每个节点都会保存一份数据
故障转移: 若个某个节点发生故障,Cluster会自动将其上的分片迁移个其他节点
高性能: 由于数据分片和网络,Redis Cluster提供高性能的数据操作
高可能: 如果单个节点挂掉了,那么Redis Cluster 内部会自动进行故障恢复
- 感谢你赐予我前进的力量