30选5玩法|福彩30选5开奖结果321|
 

标签:redis

redis故障处理 "Can’t save in background: fork: Cannot allocate memory"

No Comments IT必备工具

搜索相关资料,这里?#26723;?#27604;较详细

http://blog.csdn.net/zqz_zqz/article/details/53384854

1. 故障处理方式概述

这个错误是因为,redis有个默认选项
stop-writes-on-bgsave-error yes
在默认情况下,如果rdb snapshots持久化出现问题,设置这个?#38382;?#21518;,redis不允许用户进行任何更新

不彻底的解决方式,将这个选项改为no
stop-writes-on-bgsave-error no
这样只是当redis写硬盘快照出错时,可以让用户继续做更新操作,但是写硬盘仍然是失败的。

彻底解决方式
编辑/etc/sysctl.conf添加
vm.overcommit_memory=1
执行sysctrl -p 使其生效

------中间广告---------

[[email protected]  ~]# sysctl -p
vm.overcommit_memory = 1

10702:M 19 Oct 08:27:23.005 # Can’t save in background: fork: Cannot allocate memory
10702:M 19 Oct 08:27:29.012 * 10 changes in 300 seconds. Saving…
10702:M 19 Oct 08:27:29.016 * Background saving started by pid 11970
11970:C 19 Oct 08:27:29.905 * DB saved on disk
11970:C 19 Oct 08:27:29.907 * RDB: 0 MB of memory used by copy-on-write
10702:M 19 Oct 08:27:29.917 * Background saving terminated with success

Linux对大部分申请内存?#37027;?#27714;都回复"yes",以便能跑更多更大的程序。因为申请内存后,并不会马上使用内存,将这些不会使用的?#38556;?#20869;存分配给其它程序使用,以提高内存利用率,这种技术叫做Overcommit。一般情况下,当所有程序都不会用到自己申请的所有内存时,系统不会出问题,但是如果程序随着运行,需要的内存越来越大,在自己申请的大小范围内,不断占用更多内存,直到超出物理内存,当linux发现内存不足时,会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程,不是内核线程,哪些占用内存越多,运行时间越短的进程越有可能被杀掉),以便释放内存。
杀掉一些无用进程,以便有更多内存可用。

一看必会系列:redis模糊删除key

No Comments IT必备工具

 

 

redis-cli -p 16377 -a ‘ddd’ -n 1 KEYS "POS*"  | xargs redis-cli -p 16377 -a ‘ddd’ DEL

 

 

 

由于在我们的项目中使用Spring Cached和Redis结合的方式对一部分数据做数据库缓存,当缓存和数据库数据不一致时(由于手动改数据库引起),就?#20204;?#31354;数据库的缓存,这就涉及到Redis迷糊匹配删除数据?#37027;?#20917;发生。
Redis keys命令支持模式匹配,但是del命令不支持模式匹配,有时候需要根据一定的模式来模糊删除key,这时只能结合shell命令来完成了。 具体命令是:

redis-cli KEYS "pattern" | xargs redis-cli DEL 
比如 redis-cli KEYS "celery*" | xargs redis-cli DEL 

 

其中pattern是keys命令支持的模式,这样就可以模糊删除key了。

注意注意这是shell命令,不是redis的命令!!

我的例子:

进到redis安装目录的src目录

/usr/local/redis-2.8.17/src

然后执行命令

./redis-cli -a jl2012 KEYS “drugStoreService_cache*” | xargs redis-cli -a jl2012 DEL

其中drugStoreService_cache就是模糊匹配的key?#37027;?#32512;;-a jl2012是因为我们的redis数据库使用了密码,需鉴权,没设置密码的redis是不需要这个?#38382;?#30340;。备忘备忘!

redis redis-trib.rb使用密码管理集群

No Comments Linux

注意事项:
1.如果是使用redis-trib.rb工具构建集群,集群构建完成?#23433;?#35201;配置密码,集群构建完毕再通过config set + config rewrite命令逐个机器设置密码
2.如果对集群设置密码,那么requirepass和masterauth都需要设置,否则发生主从切换时,就会遇到授权问题,可以模拟并观察日志
3.各个节点的密码都必须一致,否则Redirected就会失败
[plain] view plain copy 在CODE上查看代码片派生到我的代码片
config set masterauth abc 
config set requirepass abc 
config rewrite 
设置密码后,redis-trib.rb check 192.168.0.107:6379
设置密码后,redis-trib.rb check 192.168.0.107:6379  报错连接不上实例,解决方法:
vim /usr/lib/ruby/gems/1.8/gems/redis-3.3.0/lib/redis/client.rb
class Redis
  class Client
    DEFAULTS = {
      :url => lambda { ENV["REDIS_URL"] },
      :scheme => "redis",
      :host => "127.0.0.1",
      :port => 6379,
      :path => nil,
      :timeout => 5.0,
      :password => "gh*8pass",
      :db => 0,
      :driver => nil,
      :id => nil,
      :tcp_keepalive => 0,
      :reconnect_attempts => 1,
      :inherit_socket => false
    }
修改下默认密码就可以了

1.密码设置
方式一:修改所有Redis集群中的redis.conf文件加入:
masterauth passwd123
requirepass passwd123
说明:这种方式需要重新启动各节点

方式二:进入各个实例进行设置:
./redis-cli -c -p 7000
config set masterauth passwd123
config set requirepass passwd123
config rewrite
之后分别使用./redis-cli -c -p 7001,./redis-cli -c -p 7002…..命令给各节点设置上密码
注意:各个节点密码都必须一致,否则Redirected就会失败, 推荐这种方式,这种方式会把密码写入到redis.conf里面去,且不用重启

2.设置密码之后如果需要使用redis-trib.rb的各?#32622;?#20196;
如:redis-trib.rb check 127.0.0.1,则会报错ERR] Sorry, can’t connect to node 127.0.0.1:7000
解决办法:
vim /usr/lib/ruby/gems/1.8/gems/redis-3.3.0/lib/redis/client.rb,然后修改passord

class Client     DEFAULTS = {      :url => lambda { ENV["REDIS_URL"] },      :scheme => "redis",      :host => "127.0.0.1",      :port => 6379,      :path => nil,      :timeout => 5.0,      :password => "passwd123",      :db => 0,      :driver => nil,      :id => nil,      :tcp_keepalive => 0,      :reconnect_attempts => 1,      :inherit_socket => false     }1234567891011121314151612345678910111213141516
2.带密码访问集群

./redis-cli -c -p 7000 -a passwd12311
3.Java客户端使用
在java程序里面使用最新的 redis.clients架包,老版本的包里可能没有提供密码访问的方式
例如maven程序:

     <dependency>           <groupId>redis.clients</groupId>           <artifactId>jedis</artifactId>           <version>2.9.0</version>           <type>jar</type>       </dependency>123456123456
然后代码里面使用带密码的构造函数

redisCluster = new JedisCluster(nodeList, TIME_OUT, 3000, 5, "passwd123", poolConfig);

Redis配置文件?#38382;?#35828;明

No Comments Linux

1. Redis默认不是?#20801;?#25252;进程的方式运行,可以通过该配置项修改,使用yes启用守护进程

daemonize no

2. 当Redis?#20801;?#25252;进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定

pidfile /var/run/redis.pid

3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在?#21482;?#25353;键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字

port 6379

4. 绑定的主机地址

bind 127.0.0.1

5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

timeout 300

6. 指定日志记?#25216;?#21035;,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose

loglevel verbose

7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null

logfile stdout

8. 设置数据库的数量,默认数据库为0,可?#20801;?#29992;SELECT <dbid>命令在连?#30001;现?#23450;数据库id

databases 16

9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合

save <seconds> <changes>

    Redis默认配置文件中提供了三个条件:

save 900 1

save 300 10

save 60 10000

    分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大

rdbcompression yes

11. 指定本地数据库文件名,默?#29616;?#20026;dump.rdb

dbfilename dump.rdb

12. 指定本地数据库存放目录

dir ./

13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步

slaveof <masterip> <masterport>

14. 当master服务设置了密码保护时,slav服务连接master的密码

masterauth <master-password>

15. 设置Redis连?#29992;?#30721;,如果配置了连?#29992;?#30721;,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭

requirepass foobared

16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连?#30828;?#21521;客户端返回max number of clients reached错误信息

maxclients 128

17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区

maxmemory <bytes>

18. 指定是否在?#30475;?#26356;新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在?#31995;?#26102;导致一?#38382;?#38388;内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一?#38382;?#38388;内只存在于内存?#23567;?#40664;认为no

appendonly no

19. 指定更新日志文件名,默认为appendonly.aof

appendfilename appendonly.aof

20. 指定更新日志条件,共有3个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快)
always:表?#20037;看?#26356;新操作后手动调用fsync()将数据写到磁盘(慢,安全)
everysec:表?#20037;?#31186;同步一次(折衷,默?#29616;擔?/p>

appendfsync everysec

21. 指定是否启用虚拟内存机制,默?#29616;?#20026;no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)

vm-enabled no

22. 虚拟内存文件路径,默?#29616;?#20026;/tmp/redis.swap,不可多个Redis实例共享

vm-swap-file /tmp/redis.swap

23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默?#29616;?#20026;0

vm-max-memory 0

24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可?#20801;?#29992;更大的page,如果不 ?#33539;ǎ?#23601;使用默?#29616;?/p>

vm-page-size 32

25. 设置swap文件中的page数量,由于页表(一种表示页面?#38556;?#25110;使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。

vm-pages 134217728

26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默?#29616;?#20026;4

vm-max-threads 4

27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

glueoutputbuf yes

28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)

activerehashing yes

30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同?#22791;?#20010;实例又拥有自己的特定配置文件

include /path/to/local.conf

redis 分布式集群cluster无法建立

No Comments Linux

1505:S 22 Jun 13:22:31.412 # Currently unable to failover: Waiting for votes, but majority still not reached.
1509:S 22 Jun 13:22:31.420 # Currently unable to failover: Waiting the delay before I can start a new failover.
1509:S 22 Jun 13:22:32.022 # Starting a failover election for epoch 38.
1497:M 22 Jun 13:22:32.023 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9389 milliseconds
1501:M 22 Jun 13:22:32.023 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9389 milliseconds
1509:S 22 Jun 13:22:32.122 # Currently unable to failover: Waiting for votes, but majority still not reached.
1505:S 22 Jun 13:22:41.429 # Currently unable to failover: Failover attempt expired.
1509:S 22 Jun 13:22:41.938 # Currently unable to failover: Failover attempt expired.
1505:S 22 Jun 13:22:51.449 # Start of election delayed for 600 milliseconds (rank #0, offset 491).
1505:S 22 Jun 13:22:51.549 # Currently unable to failover: Waiting the delay before I can start a new failover.
1509:S 22 Jun 13:22:51.950 # Start of election delayed for 670 milliseconds (rank #0, offset 491).
1509:S 22 Jun 13:22:52.050 # Currently unable to failover: Waiting the delay before I can start a new failover.
1505:S 22 Jun 13:22:52.050 # Starting a failover election for epoch 39.
1501:M 22 Jun 13:22:52.053 # Failover auth granted to b17317b6c37ed3f6a0b08b138108efd4f402d0f3 for epoch 39
1497:M 22 Jun 13:22:52.053 # Failover auth granted to b17317b6c37ed3f6a0b08b138108efd4f402d0f3 for epoch 39
1505:S 22 Jun 13:22:52.053 # Currently unable to failover: Waiting for votes, but majority still not reached.
1509:S 22 Jun 13:22:52.650 # Starting a failover election for epoch 40.
1497:M 22 Jun 13:22:52.651 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9402 milliseconds
1501:M 22 Jun 13:22:52.651 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9402 milliseconds
1509:S 22 Jun 13:22:52.750 # Currently unable to failover: Waiting for votes, but majority still not reached.
1505:S 22 Jun 13:23:02.067 # Currently unable to failover: Failover attempt expired.
1509:S 22 Jun 13:23:02.668 # Currently unable to failover: Failover attempt expired.

防火墙搞的鬼
1.先停用iptables测试如果成功,修改相应端口号

#开启iptables 日志分析 SPT原端口 DPT目标端口
iptables -I INPUT -j LOG –log-prefix "curious_log " –log-level 6
#发现DTP有18000,所以全?#30001;?
iptables -I INPUT -p tcp –dport=8000:8005 -j ACCEPT

iptables -I INPUT -p tcp –dport=18000:18005 -j ACCEPT
#另一台服务器
iptables -I INPUT -p tcp –dport=17000:17005 -j ACCEPT

[[email protected] ~]# iptables -L -n –line-number
Chain INPUT (policy ACCEPT)
num  target     prot opt source               destination        
1    ACCEPT     tcp  –  0.0.0.0/0            0.0.0.0/0            tcp dpts:18000:18005
2    LOG        all  –  0.0.0.0/0            0.0.0.0/0            LOG flags 0 level 6 prefix "curious_log "
3    ACCEPT     tcp  –  0.0.0.0/0            0.0.0.0/0            tcp dpts:8000:8005
#删除日志
iptables -D INPUT 2
#记得每台服务器保存
service iptables save

加好后发现已经正常
2852:S 22 Jun 13:37:35.130 # Cluster state changed: fail
2840:S 22 Jun 13:41:02.667 # Cluster state changed: ok
2852:S 22 Jun 13:41:02.669 # Cluster state changed: ok
2844:S 22 Jun 13:41:02.670 # Cluster state changed: ok
2848:S 22 Jun 13:41:02.767 # Cluster state changed: ok
2832:M 22 Jun 13:41:07.674 # Cluster state changed: ok
2836:M 22 Jun 13:41:07.680 # Cluster state changed: ok

redis 分布式集群cluster无法建立

No Comments Linux

1505:S 22 Jun 13:22:31.412 # Currently unable to failover: Waiting for votes, but majority still not reached.
1509:S 22 Jun 13:22:31.420 # Currently unable to failover: Waiting the delay before I can start a new failover.
1509:S 22 Jun 13:22:32.022 # Starting a failover election for epoch 38.
1497:M 22 Jun 13:22:32.023 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9389 milliseconds
1501:M 22 Jun 13:22:32.023 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9389 milliseconds
1509:S 22 Jun 13:22:32.122 # Currently unable to failover: Waiting for votes, but majority still not reached.
1505:S 22 Jun 13:22:41.429 # Currently unable to failover: Failover attempt expired.
1509:S 22 Jun 13:22:41.938 # Currently unable to failover: Failover attempt expired.
1505:S 22 Jun 13:22:51.449 # Start of election delayed for 600 milliseconds (rank #0, offset 491).
1505:S 22 Jun 13:22:51.549 # Currently unable to failover: Waiting the delay before I can start a new failover.
1509:S 22 Jun 13:22:51.950 # Start of election delayed for 670 milliseconds (rank #0, offset 491).
1509:S 22 Jun 13:22:52.050 # Currently unable to failover: Waiting the delay before I can start a new failover.
1505:S 22 Jun 13:22:52.050 # Starting a failover election for epoch 39.
1501:M 22 Jun 13:22:52.053 # Failover auth granted to b17317b6c37ed3f6a0b08b138108efd4f402d0f3 for epoch 39
1497:M 22 Jun 13:22:52.053 # Failover auth granted to b17317b6c37ed3f6a0b08b138108efd4f402d0f3 for epoch 39
1505:S 22 Jun 13:22:52.053 # Currently unable to failover: Waiting for votes, but majority still not reached.
1509:S 22 Jun 13:22:52.650 # Starting a failover election for epoch 40.
1497:M 22 Jun 13:22:52.651 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9402 milliseconds
1501:M 22 Jun 13:22:52.651 # Failover auth denied to e04669fa422da978c33c7c9064632ddbd59aa6b8: can’t vote about this master before 9402 milliseconds
1509:S 22 Jun 13:22:52.750 # Currently unable to failover: Waiting for votes, but majority still not reached.
1505:S 22 Jun 13:23:02.067 # Currently unable to failover: Failover attempt expired.
1509:S 22 Jun 13:23:02.668 # Currently unable to failover: Failover attempt expired.

防火墙搞的鬼
1.先停用iptables测试如果成功,修改相应端口号

#开启iptables 日志分析 SPT原端口 DPT目标端口
iptables -I INPUT -j LOG –log-prefix "curious_log " –log-level 6
#发现DTP有18000,所以全?#30001;?
iptables -I INPUT -p tcp –dport=8000:8005 -j ACCEPT

iptables -I INPUT -p tcp –dport=18000:18005 -j ACCEPT
#另一台服务器
iptables -I INPUT -p tcp –dport=17000:17005 -j ACCEPT
#记得每台服务器保存
service iptables save

加好后发现已经正常
2852:S 22 Jun 13:37:35.130 # Cluster state changed: fail
2840:S 22 Jun 13:41:02.667 # Cluster state changed: ok
2852:S 22 Jun 13:41:02.669 # Cluster state changed: ok
2844:S 22 Jun 13:41:02.670 # Cluster state changed: ok
2848:S 22 Jun 13:41:02.767 # Cluster state changed: ok
2832:M 22 Jun 13:41:07.674 # Cluster state changed: ok
2836:M 22 Jun 13:41:07.680 # Cluster state changed: ok

redis可视化工具

No Comments Linux

使用可视化工具redis-desktop-manager管理查询缓存。

Redis的可视化管理工具有很多,分享一篇文章大家都可?#20801;?#21160;去?#20801;裕?a href="http://database.51cto.com/art/201505/477692.htm">几款开源的图形化Redis客户端管理软件推荐

经过个?#35828;?#23581;试,感觉?#25925;莚edis-desktop-manager比较好用,下载地址:http://redisdesktop.com/download

点击windows平台“redis-desktop-manager-0.8.0.3841.exe”下载安装,安装完成之后,配置服务器信息,IP+端口号,配置完成之后,打开管理页面就可以看到,刚才咱们测试的缓存key01,如图:

30选5玩法