redis大内存配置?Redis内存满了怎么办

seosqwseo4个月前 (09-15)测评日记70

一、Redis内存满了怎么办

长期把Redis做缓存用,总有一天Redis内存会满的,怎么处理呢?

在Redis的配置文件 redis.conf文件中,配置 maxmemory的大小参数如下所示:

倘若实际的存储中超出了Redis的配置参数的大小时,Redis中有淘汰策略,把需要淘汰的key给淘汰掉,整理出干净的一块内存给新的key值使用。

Redis提供了 6种的淘汰策略,其中默认的是 noeviction,这6中淘汰策略如下:

LRU(Least Recently Used)即表示近少使用,也就是在近的时间内少被访问的key,算法根据数据的历史访问记录来进行淘汰数据。

它的核心的思想就是:假如一个key值在近很少被使用到,那么在将来也很少会被访问。

实际上Redis实现的LRU并不是真正的LRU算法,也就是名义上我们使用LRU算法淘汰键,但是实际上被淘汰的键并不一定是真正的久没用的。

Redis使用的是近似的LRU算法,通过随机采集法淘汰key,每次都会随机选出5个key,然后淘汰里面近少使用的key。

这里的5个key只是默认的个数,具体的个数也可以在配置文件中进行配置,在配置文件中的配置如下图所示:

当近似LRU算法取值越大的时候就会越接近真实的LRU算法,可以这样理解,因为取值越大那么获取的数据就越全,淘汰中的数据的就越接近近少使用的数据。

那么为了实现根据时间实现LRU算法,Redis必须为每个key中额外的增加一个内存空间用于存储每个key的时间,大小是3字节。

在Redis 3.0中对近似的LRU算法做了一些优化,Redis中会维护大小是 16的一个候选池的内存。

当第一次随机选取的采样数据,数据都会被放进候选池中,并且候选池中的数据会根据时间进行排序。

当第二次以后选取的数据,只有小于候选池内的小时间的才会被放进候选池中。

当某一时刻候选池的数据满了,那么时间大的key就会被挤出候选池。当执行淘汰时,直接从候选池中选取近访问时间小的key进行淘汰。

这样做的目的就是选取出近似符合近少被访问的key值,能够正确的淘汰key值,因为随机选取的样本中的小时间可能不是真正意义上的小时间。

但是LRU算法有一个弊端:就是假如一个key值在以前都没有被访问到,然而近一次被访问到了,那么就会认为它是热点数据,不会被淘汰。

然而有些数据以前经常被访问到,只是近的时间内没有被访问到,这样就导致这些数据很可能被淘汰掉,这样一来就会出现误判而淘汰热点数据。

于是在Redis 4.0的时候除了LRU算法,新加了一种LFU算法,那么什么是LFU算法算法呢?

LFU(Least Frequently Used)即表示近频繁被使用,也就是近的时间段内,频繁被访问的key,它以近的时间段的被访问次数的频率作为一种判断标准。

它的核心思想就是:根据key近被访问的频率进行淘汰,比较少被访问的key优先淘汰,反之则优先保留。

LFU算法反映了一个key的热度情况,不会因为LRU算法的偶尔一次被访问被认为是热点数据。

在LFU算法中支持 volatile-lfu策略和 allkeys-lfu策略。

在Redis种有三种删除的*作此策略,分别是:

在Redis中持久化的方式有两种 RDB和 AOF

在RDB中是以快照的形式获取内存中某一时间点的数据副本,在创建RDB文件的时候可以通过 save和 bgsave命令执行创建RDB文件。

这两个命令都不会把过期的key保存到RDB文件中,这样也能达到删除过期key的效果。

当在启动Redis载入RDB文件的时候, Master不会把过期的key载入,而 Slave会把过期的key载入。

在AOF模式下,Redis提供了Rewite的优化措施,执行的命令分别是 REWRITEAOF和 BGREWRITEAOF,这两个命令都不会把过期的key写入到AOF文件中,也能删除过期key。

RDB是一种快照存储持久化方式,具体就是将 Redis某一时刻的内存数据保存到硬盘的文件当中,默认保存的文件名为 dump.rdb,而在 Redis服务器启动时,会重新加载 dump.rdb文件的数据到内存当中恢复数据。

开启 RDB持久化方式很简单,客户端可以通过向 Redis服务器发送 save或 bgsave命令让服务器生成 rdb文件,或者通过服务器配置文件指定触发 RDB条件。

当客户端向服务器发送 save命令请求进行持久化时,服务器会阻塞 save命令之后的其他客户端的请求,直到数据同步完成。

与 save命令不同, bgsave命令是一个异步*作。

当客户端发服务发出 bgsave命令时, Redis服务器主进程会 forks一个子进程来数据同步问题,在将数据保存到rdb文件之后,子进程会退出。

所以,与 save命令相比, Redis服务器在处理 bgsave采用子线程进行IO写入,而主进程仍然可以接收其他请求,但 forks子进程是同步的,所以 forks子进程时,一样不能接收其他请求,这意味着,如果forks一个子进程花费的时间太久(一般是很快的),bgsave命令仍然有阻塞其他客户的请求的情况发生。

除了通过客户端发送命令外,还有一种方式,就是在 Redis配置文件中的 save指定到达触发RDB持久化的条件,比如【多少秒内至少达到多少写*作】就开启 RDB数据同步。

例如我们可以在配置文件redis.conf指定如下的选项:

之后在启动服务器时加载配置文件。

这种通过服务器配置文件触发RDB的方式,与bgsave命令类似,达到触发条件时,会forks一个子进程进行数据同步,不过好不要通过这方式来触发RDB持久化,因为设置触发的时间太短,则容易频繁写入rdb文件,影响服务器性能,时间设置太长则会造成数据丢失。

介绍了三种让服务器生成rdb文件的方式,无论是由主进程生成还是子进程来生成,其过程如下:

Redis的另外一个持久化方式: AOF(Append-only file)。

与 RDB存储某个时刻的快照不同, AOF持久化方式会记录客户端对服务器的每一次写*作命令,并将这些写*作以 Redis协议追加保存到以后缀为 aof文件末尾,在Redis服务器重启时,会加载并运行 aof文件的命令,以达到恢复数据的目的。

Redis默认不开启AOF持久化方式,我们可以在配置文件中开启并进行更加详细的配置,如下面的redis.conf文件:

在上面的配置文件中,我们可以通过 appendfsync选项指定写入策略,有三个选项

客户端的每一个写*作都保存到 aof文件当,这种策略很安全,但是每个写请注都有IO*作,所以也很慢。

appendfsync的默认写入策略,每秒写入一次 aof文件,因此,多可能会丢失1s的数据。

Redis服务器不负责写入 aof,而是交由*作系统来处理什么时候写入 aof文件。更快,但也是不安全的选择,不推荐使用。

AOF将客户端的每一个写*作都追加到 aof文件末尾,比如对一个key多次执行incr命令,这时候, aof保存每一次命令到aof文件中,aof文件会变得非常大。

aof文件太大,加载aof文件恢复数据时,就会非常慢,为了解决这个问题,Redis支持aof文件重写,通过重写aof,可以生成一个恢复当前数据的少命令集,比如上面的例子中那么多条命令,可以重写为:

通过在redis.conf配置文件中的选项no-appendfsync-on-rewrite可以设置是否开启重写,这种方式会在每次fsync时都重写,影响服务器性能,因此默认值为no,不推荐使用。

客户端向服务器发送bgrewriteaof命令,也可以让服务器进行AOF重写。

AOF重写方式也是异步*作,即如果要写入aof文件,则Redis主进程会forks一个子进程来处理,如下所示:

在写入aof日志文件时,如果Redis服务器宕机,则aof日志文件文件会出格式错误,在重启Redis服务器时,Redis服务器会拒绝载入这个aof文件,可以通过以下步骤修复aof并恢复数据。

AOF只是追加日志文件,因此对服务器性能影响较小,速度比RDB要快,消耗的内存较少。

我们可以从几个方面对比一下RDB与AOF,在应用时,要根本自己的实际需求,选择RDB或者AOF,其实,如果想要数据足够安全,可以两种方式都开启,但两种持久化方式同时进行IO*作,会严重影响服务器性能,因此有时候不得不做出选择。

当RDB与AOF两种方式都开启时,Redis会优先使用AOF日志来恢复数据,因为AOF保存的文件比RDB文件更完整。

二、Redis内存满了会怎么样

通过在Redis安装目录下面的redis.conf配置文件中添加以下配置设置内存大小

redis的配置文件不一定使用的是安装目录下面的redis.conf文件,启动redis服务的时候是可以传一个参数指定redis的配置文件的

Redis支持运行时通过命令动态修改内存大小

既然可以设置Redis大占用内存大小,那么配置的内存就有用完的时候。那在内存用完的时候,还继续往Redis里面添加数据不就没内存可用了吗?

实际上Redis定义了几种策略用来处理这种情况:

当使用volatile-lru、volatile-random、volatile-ttl这三种策略时,如果没有key可以被淘汰,则和noeviction一样返回错误

通过配置文件设置淘汰策略(修改redis.conf文件):

Redis使用的是近似LRU算法,它跟常规的LRU算法还不太一样。近似LRU算法通过随机采样法淘汰数据,每次随机出5(默认)个key,从里面淘汰掉近少使用的key。

可以通过maxmemory-samples参数修改采样数量:

maxmenory-samples配置的越大,淘汰的结果越接近于严格的LRU算法

Redis为了实现近似LRU算法,给每个key增加了一个额外增加了一个24**t的字段,用来存储该key后一次被访问的时间。

Redis3.0对近似LRU算法进行了一些优化。新算**维护一个候选池(大小为16),池中的数据根据访问时间进行排序,第一次随机选取的key都会放入池中,随后每次随机选取的key只有在访问时间小于池中小的时间才会放入池中,直到候选池被放满。当放满后,如果有新的key需要放入,则将池中后访问时间大(近被访问)的移除。

当需要淘汰的时候,则直接从池中选取近访问时间小(久没被访问)的key淘汰掉就行。

三、Redis内存配置和淘汰策略

1.在redis安装目录下找到redis.conf,打开找到如下行:

其中的maxmemory<bytes>即为大内存配置项,默认是注释掉的会采用默认的大内存大小:在64位*作系统下不限制内存大小,在32位*作系统下多使用3GB。

这里结果为0表示未手动指定过大内存,采用默认的大内存。

一般推荐Redis设置内存为大物理内存的四分之三。

1.在配置文件redis.conf中指定maxmemory参数,例如,如果大内存是200M,则在配置文件中添加 maxmemory 209751200;

2.通过命令 config set maxmemory 209751200设置,注意,这里如果是通过命令行设置的大内存大小,在配置文件redis.conf中并不会添加 maxmemory 209751200这一行内容。

当Redis达到大的可用内存时,再向其中存入数据则会报OOM,因此,要避免无限制存入数据导致OOM,则需要采用合适的内存淘汰策略。

在讨论Redis的内存淘汰策略之前,我们要先对Redis中过期键的删除机制有个大体的了解;实际上,过期键的删除策略有三种,每种策略下过期键的删除时机均不同。

所谓定时删除,就是在设置键的过期时间的同时,创建一个定时器,让定时器在键的过期时间来临时,立即删除对键的删除*作。其能够对过期键进行立即删除,对内存是友好的,但是因为要维护定时器,对cpu是不友好的。

所谓惰性删除,就是放任过期键不管,但每次获取键时,都检查取得的键是否过期,如果过期的话,就删除该键。如果没有过期,就返回该键。惰性删除对cpu友好,但是由于其无法主动删除过期键,当过期键大量积聚时会占用很大内存,对内存不友好。

所谓定期删除,是前两种删除策略的一种折中。会每隔一段时间执行一次删除过期键*作,并通过限制*作执行的时长和频率来减少删除*作对cpu时间的影响。

定期删除会周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度,其特点为:

a)CPU占用设置有峰值,检测频度可自定义设置。

b)内存压力有限,长期占用内存的冷数据会被持续清理。

总结下来,定期删除会周期性抽查存储空间(随机抽查、重点抽查)。

定期删除的难点在于如何确定产出*作执行的时长和频率,如果删除*作执行的太过频繁,或者执行的时间太长,定期删除策略就会退化成定时删除策略,以至于将CPU时间过多的消耗在删除键上面。如果删除*作执行的太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现内存浪费的情况。因此,必须合理的设置定期删除策略的执行时长和执行频率。

定期删除在一定程度上是一种合理有效的过期键删除策略,但是由于其在执行时长和执行频度的局限性,必须要有另一种机制(策略)确保内存能够获得回收,因此,就需要引入内存淘汰策略。

在redis.conf中指出内存淘汰策略有有以下八种:

1. volatile-lru:从已设置过期时间的key中挑选近少使用的数据淘汰;

2. allkeys-lru:从全部key中挑选近少使用的数据淘汰;

3. volatile-lfu:从已设置过期时间的key中挑选使用频率低的数据淘汰;

4. allkeys-lfu:从全部key中挑选使用频率低的数据淘汰;

5. volatile-random:从已设置过期时间的key中任意选择数据淘汰;

6. allkeys-random:从全部key中任意选择数据淘汰

7. volatile-ttl:从已设置过期时间的key中挑选将要过期的数据淘汰;

8. no-enviction:禁止驱逐数据,这也是默认策略。当内存不足以容纳新入数据时,新写入*作就会报错。

相关文章

TCL旗舰京品好不好

TCL旗舰京品好不好

很多小伙伴在关注TCL旗舰京品怎么样?质量好不好?使用测评如何?本文综合已购用户的客观使用分享和相应的优惠信息,为大家推荐一款高性价比的产品,一起来看看吧。...

海信电视75E35H怎么样?质量测评好不好用?

海信电视75E35H怎么样?质量测评好不好用?

很多小伙伴在关注海信电视75E35H怎么样?质量好不好?使用测评如何?本文综合已购用户的客观使用分享和相应的优惠信息,为大家推荐一款高性价比的产品,一起来看看吧。...

索尼(SONY)KD-43X85K43英寸质量好吗

索尼(SONY)KD-43X85K43英寸质量好吗

很多小伙伴在关注索尼(SONY)KD-43X85K43英寸怎么样?质量好不好?使用测评如何?本文综合已购用户的客观使用分享和相应的优惠信息,为大家推荐一款高性价比的产品,一...

大疆DJI怎么样

大疆DJI怎么样

很多小伙伴在关注大疆DJI怎么样?质量好不好?使用测评如何?本文综合已购用户的客观使用分享和相应的优惠信息,为大家推荐一款高性价比的产品,一起来看看吧。...

锐玛(EIRMAI)EMB-SD06单反包相机包双肩摄影包数码帆布防水旅行背包质量测评好不好

锐玛(EIRMAI)EMB-SD06单反包相机包双肩摄影包数码帆布防水旅行背包质量测评好不好

很多小伙伴在关注锐玛(EIRMAI)EMB-SD06单反包相机包双肩摄影包数码帆布防水旅行背包怎么样?质量好不好?使用测评如何?本文综合已购用户的客观使用分享和相应的优惠信...

汉王(Hanvon)N10手写电纸本10.3英寸电子书阅读器墨水屏电纸书平板电子笔记本智能办公本冰山灰怎么样?质量测评好不好用?

汉王(Hanvon)N10手写电纸本10.3英寸电子书阅读器墨水屏电纸书平板电子笔记本智能办公本冰山灰怎么样?质量测评好不好用?

很多小伙伴在关注汉王(Hanvon)N10手写电纸本10.3英寸电子书阅读器墨水屏电纸书平板电子笔记本智能办公本冰山灰怎么样?质量好不好?使用测评如何?本文综合已购用户的客...