NoSQL之Redis

1.关系数据库 VS 非关系型数据库

1.1 关系型数据库

• 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。
• SQL语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。
• 主流的关系型数据库包括Oracle、MySQL、SQL Server、Microsoft Access、DB2、PostgreSQL等。
• 以上数据库在使用的时候必须先建库建表设计表结构，然后存储数据的时候按表结构去存，如果数据与表结构不匹配就会存储失败。

1.2 非关系型数据库

• NoSQL(NoSQL = Not Only SQL )，意思是“不仅仅是SQL”，是非关系型数据库的总称。
• 除了主流的关系型数据库外的数据库，都认为是非关系型。
• 不需要预先建库建表定义数据存储表结构，每条记录可以有不同的数据类型和字段个数（比如微信群聊里的文字、图片、视频、音乐等）。
• 主流的NoSQL数据库有Redis、MongBD、Hbase、Memcached、ElasticSearch、TSDB等。

1.3 关系型数据库和非关系型数据库区别

（1）数据存储方式不同

• 关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。
• 与其相反，非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。

（2）扩展方式不同

• SQL和NoSQL数据库最大的差别可能是在扩展方式上，要支持日益增长的需求当然要扩展。
• 要支持更多并发量，SQL数据库是纵向扩展，也就是说提高处理能力，使用速度更快速的计算机，这样处理相同的数据集就更快了。因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都需要通过提高计算机性能来克服。虽然SQL数据库有很大扩展空间，但最终肯定会达到纵向扩展的上限。
• 而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的，NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。

（3）对事务性支持不同

• 关系型数据库遵循ACID规则（原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)）。
• NoSQL数据库遵循BASE原则（基本可用（Basically Availble）、软/柔性事务（Soft-state）、最终一致性（Eventual Consistency））。
• 由于关系型数据库的数据强一致性，所以对事务的支持很好。关系型数据库支持对事务原子性细粒度控制，并且易于回滚事务。
• NoSQL数据库是在CAP（一致性、可用性、分区容忍度）中任选两项，因为基于节点的分布式系统中，不可能同时全部满足，所以对事务的支持不是很好。

1.4 非关系型数据库产生背景

可用于应对Web2.0纯动态网站类型的三高问题（高并发、高性能、高可用）。

• （1）High performance——对数据库高并发读写需求
• （2）Huge Storage——对海量数据高效存储与访问需求
• （3）High Scalability && High Availability——对数据库高可扩展性与高可用性需求

关系型数据库和非关系型数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系型数据库关注在关系上和对数据的一致性保障，非关系型数据库关注在存储和高效率上。例如，在读写分离的MySQL数据库环境中，可以把经常访问的数据存储在非关系型数据库中，提升访问速度。

2.Redis简介

2.1 Redis概述

• Redis（远程字典服务器） 是一个开源的、使用C语言编写的NoSQL数据库。
• Redis基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环。
• Redis服务器程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降；若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时，会给服务器的CPU造成很大压力。即：在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程。若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个进程。若CPU资源比较紧张，采用单进程即可。

2.2 Redis的优点

• 具有极高的数据读写速度：数据读取的速度最高可达到10000次/s，数据写入速度最高可达到81000次/s。
• 支持丰富的数据类型：支持key-value、Strings、Lists、Hashes、Sets及Sorted Sets等数据类型操作。
• 支持数据的持久化：可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
• 原子性：Redis所有操作都是原子性的。
• 支持数据备份：即master-salve模式的数据备份。

2.3 Redis使用场景

• Redis作为基于内存运行的数据库，是一个高性能的缓存，一般应用在Session缓存、队列、排行榜、计数器、最近最热文章、最近最热评论、发布订阅等。
• Redis适用于数据实时性要求高、数据存储有过期和淘汰特征的、不需要持久化或者只需要保证弱一致性、逻辑简单的场景。
• 我们通常会将部分数据放入缓存中，来提高访问速度，然后数据库承担存储的工作。

2.4 关于Redis的高频问题

哪些数据适合放入缓存中？

• 即时性：例如查询最新的物流状态信息。
• 数据一致性要求不高：例如门店信息，修改后，数据库中已经改了，五分钟后缓存中才是最新的，但不影响功能使用。
• 访问量大且更新频率不高，例如网站首页的广告信息，访问量大，但是不会经常变化。

 Redis为什么这么快？

• Redis是一款纯内存结构，避免了磁盘I/O等耗时操作。
• Redis命令处理的核心模块为单线程，不存在多线程切换而消耗CPU，不用考虑各种锁的问题，不存在加锁、释放锁的操作，没有因为可能出现死锁而导致性能消耗。
• 采用了I/O多路复用机制，大大提升了并发效率。

 3. 安装部署Redis

###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

 （1）修改内核参数

vim /etc/sysctl.conf
vm.overcommit_memory = 1                     #内核允许超量使用内存直到用完为止，防止OOM杀死进程
net.core.somaxconn = 20480                    #指定处于监听状态的连接请求队列的最大长度
 
sysctl -p   #加载

 

( 2）安装redis

yum install -y gcc gcc-c++ make
cd /opt
rz -E
#redis-7.0.13.tar.gz
tar xf /opt/redis-7.0.13.tar.gz 
cd /opt/redis-7.0.13
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了Makefile文件，所以在解压完软件包后，不用先执行./configure行配置，可直接执行make与make install命令进行安装

 （3）创建redis工作目录，并创建redis程序用户

cd /usr/local/redis
mkdir conf log data
cd /opt/redis-7.0.13/
cp redis.conf /usr/local/redis/conf/
useradd -M -s /sbin/nologin redis
chown -R redis:redis /usr/local/redis

 （4）将redis的可执行文件路径加入到系统环境变量中

vim /etc/profile
export PATH=$PATH:/usr/local/redis/bin
source /etc/profile

（5）修改redis.conf配置文件

vim /usr/local/redis/conf/redis.conf
bind 192.168.9.140					            #87行，添加监听的主机地址
protected-mode no					            #111行，将本机访问保护模式设置no。如果开启了，那么在没有设定bind ip且没有设密码的情况下，Redis只允许接受本机的响应
port 6379										#138行，Redis默认的监听6379端口
tcp-backlog 20480                               #147行，修改参数为20480，与内核参数一致
daemonize yes									#309行，设置为守护进程，后台启动
pidfile /usr/local/redis/log/redis_6379.pid		#341行，指定PID文件
logfile "/usr/local/redis/log/redis_6379.log"	#354行，指定日志文件
dir /usr/local/redis/data						#504行，指定持久化文件所在目录
requirepass abc123							    #1037行，增加一行，设置redis密码

 

 

 （6）定义systemd服务管理脚本

cd /usr/lib/systemd/system
vim redis-server.service
-----添加配置
[Unit]
Description=Redis Server
After=network.target
 
[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
 
[Install]
WantedBy=multi-user.target
 
-----
systemctl daemon-reload
systemctl start redis-server.service
systemctl enable redis-server.service
netstat -lntp | grep 6379

 

4.Redis命令工具

 

redis-server：Redis服务器启动命令
redis-benchmark：性能测试工具，用于检测Redis在本机的运行效率
redis-check-aof：修复有问题的AOF持久化文件
redis-check-rdb：修复有问题的RDB持久化文件
redis-cli：Redis客户端命令行工具
redis-sentinel：Redis哨兵集群使用

4.1 redis-cli命令行工具

语法：redis-cli -h host -p port [-a password]
-h ：指定远程主机
-p ：指定Redis服务的端口号
-a ：指定密码，未设置数据库密码可以省略-a选项
若不添加任何选项表示，则使用127.0.0.1:6379连接本机上的Redis数据库

 

redis-cli -h 192.168.9.140 -p 6379 -a 'abc123'

redis-benchmark -h 20.0.0.147 -p 6379 -a 'abc123' -c 100 -n 100000

4.2 redis-benchmark测试工具

redis-benchmark是官方自带的Redis性能测试工具，可以有效的测试Redis服务的性能。

 

基本的测试语法：redis-benchmark [选项] [选项值]。
-h ：指定服务器主机名。
-p ：指定服务器端口。
-s ：指定服务器 socket
-c ：指定并发连接数。 
-n ：指定请求数。
-d ：以字节的形式指定 SET/GET 值的数据大小。
-k ：1=keep alive 0=reconnect 。
-r ：SET/GET/INCR 使用随机 key, SADD 使用随机值。
-P ：通过管道传输<numreq>请求。
-q ：强制退出 redis。仅显示 query/sec 值。
--csv ：以 CSV 格式输出。
-l ：生成循环，永久执行测试。
-t ：仅运行以逗号分隔的测试命令列表。
-I ：Idle 模式。仅打开 N 个 idle 连接并等待。

#向 IP 地址为 192.168.9.140、端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求测试性能

redis-benchmark -h 20.0.0.147 -p 6379 -a 'abc123' -c 100 -n 100000

 #测试存取大小为 100 字节的数据包的性能

redis-benchmark -h 20.0.0.147 -p 6379 -q -d 100 -a 'abc123'

 

5.Redis数据库常用命令（string）

set：存放数据，命令格式为set key value
get：获取数据，命令格式为get key

5.1 keys命令

keys *
keys ?

 5.2 exists命令判断键值是否存在

exists lll

 5.3 设置键过期时间

ttl 键                 #查看键当前的过期时间，-1 永不过期，-2 已过期
expire 键 时间         #已存在键设置时间
setex 键 过期时间 内容  #创建键并设置过期时间

 5.4  rename是对已有key进行重命名（覆盖）

rename 键 新键         #重命名键，会覆盖已存在的键

renamenx 键 新键       #重命名键，不会覆盖已存在的键

 

 5.5 dbsize命令统计当前数据库中key的数目

dbsize                 #统计当前库中键的总数

 

 5.6 修改密码

config set requirepass '密码'      #设置redis密码
config get requirepass             #查看redis密码
config set requirepass ''          #设置redis空密码

5.8 删除键

del 键                 #删除键

 

 5.9 type查看数据类型

type 键                #查看键的数据类型

 

5.10 append追加内容

append 键 追加内容 

 

 

5.11 strlen mykey获取字符长度

strlen mykey                        #获取指定Key的字符长度。

 5.12 incr、decr递增和递减

incr mykey						#该Key的值递增1
decr mykey						#该Key的值递减1
只能递增递减数字
incrby mykey 10					#增加指定的整数
decrby mykey 5					#减少指定的整数

 5.13 setnx

setnx mykey hello				#若键并不存在，会创建键
setnx mykey hello				#若键并存在，设置没有产生任何效果

 

 

5.14 mset、mget批量设置键

mset key1 "hello" key2 "world"	#批量设置了key1和key2两个键。
mget key1 key2					#批量获取了key1和key2两个键的值。
msetnx key3 "hello" key5 "world"	#批量设置了key3和key5两个键，若已存在不会产生任何效果，若不存在则会创建

 

6.Redis多数据库常用命令

Redis支持多数据库，Redis默认情况下包含16个数据库，数据库名称是用数字0-15来依次命名。
多数据库相互独立，互不干扰。

6.1 切换库

select 库ID            #切换库，默认库ID为 0~15

 6.2 移动库

move 键 库ID           #移动键到指定的库

6.3 删除库

flushdb                #清空当前库所有键（慎用）
flushall               #清空所有库所有键（慎用）

7. List数据类型 

概述：列表的元素类型为string，按照插入顺序排序，在列表的头部或尾部添加元素

7.1 lpush、lrange

lpush mykey a b c d	#mykey键并不存在，该命令会创建该键及与其关联的List，之后在将参数中的values从左到右依次插入。
lrange mykey 0 2		#取从位置0开始到位置2结束的3个元素。
lrange mykey 0 -1		#取链表中的全部元素，其中0表示第一个元素，-1表示最后一个元素。

 7.2 lpushx

lpushx mykey2 zhangsan		#mykey2键此时并不存在，因此lpushx命令将不会进行任何操作，其返回值为0。
lpushx mykey zhangsan lisi		#mykey键此时已经存在，所以lpushx命令插入成功，并返回链表中当前元素的数量。

7.3 lpop、llen删除、统计元素

lpop mykey			#移除并返回mykey键的第一个元素,从左取‘lisi’
llen mykey          #统计元素的数量

 7.4 lrem

lrem mykey 2 a		#从头部(left)向尾部(right)变量链表，删除2个值等于a的元素，返回值为实际删除的数量

7.5 lindex、lset、ltrim

 

lindex mykey 1		#获取索引值为1(头部的第二个元素)的元素值。
lset mykey 1 e		#将索引值为1(头部的第二个元素)的元素值设置为新值e。
ltrim mykey 0 2		#仅保留索引值0到2之间的3个元素，注意第0个和第2个元素均被保留。

 7.6 linsert

 linsert mykey before a a1		#在a的前面插入新元素a1。
linsert mykey after e e2		#在e的后面插入新元素e2，从返回结果看已经插入成功。

 7.7 rpush、rpop

rpush mykey a b c d			#从链表的尾部插入参数中给出的values，插入顺序是从右到左依次插入。
RPOP mykey						#移除并返回mykey键的第一个元素。
rpoplpush mykey mykey2	#将mykey的尾部元素e弹出，同时再插入到mykey2的头部(原子性的完成这两步操作)。

 

8. Hash数据类型（散列类型）

概述：

hash用于存储对象。可以采用这样的命名方式：对象类别和ID构成键名，使用字段表示对象的属性，而字段值则存储属性值。 如：存储 ID 为 2 的汽车对象。
如果Hash中包含很少的字段，那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。

8.1 hset、hget、hdel

hset myhash field1 "zhang"		#给键值为myhash的键设置字段为field1，值为zhang。
hget myhash field1				#获取键值为myhash，字段为field1的值"zhang"
hdel myhash field2			    #删除myhash键中字段名为field2的字段，删除成功返回1。
hmset 键 字段1 值1 字段2 值2 .... #插入多个字段、值
hkeys 键                            #查看所有的字段
hvals 键                            #查看所有字段的值

9.Set数据类型（无序集合）

概述：无序集合，元素类型为String类型，元素具有唯一性，不允许存在重复的成员。多个集合类型之间可以进行并集、交集和差集运算。
应用范围：
1.可以使用Redis的Set数据类型跟踪一些唯一性数据，比如访问某一博客的唯一IP地址信息。对于此场景，我们仅需在每次访问该博客时将访问者的IP存入Redis中，Set数据类型会自动保证IP地址的唯一性。
2.充分利用Set类型的服务端聚合操作方便、高效的特性，可以用于维护数据对象之间的关联关系。比如所有购买某一电子设备的客户ID被存储在一个指定的Set中，而购买另外一种电子产品的客户ID被存储在另外一个Set中，如果此时我们想获取有哪些客户同时购买了这两种商品时，Set的intersections命令就可以充分发挥它的方便和效率的优势了。

9.1 sadd、smembers、scard

sadd 键 值1 值2 ....         #元素不能重复
smembers 键                  #查看元素，无序的
scard 键                     #统计元素的数量

 9.2 srandmember、spop、srem、semove

srandmember 键 n        #随便显示n个元素
spop 键                      #随机显示并删除一个元素
srem 键 值1 值2 ...          #删除指定的元素
smove 键1 键2 值             #将键1的元素移动到键2中

10.zset（有序集合）

概述：

a、有序集合，元素类型为String，元素具有唯一性，不能重复。
b、每个元素都会关联一个double类型的分数score(表示权重)，可以通过权重的大小排序，元素的score可以相同。

应用范围：
1)可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时，可以执行ZADD命令更新玩家的分数，此后再通过ZRANGE命令获取积分TOP10的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。
2)Sorted-Set类型还可用于构建索引数据。

10.1 zadd、zrange、zcard、zcount、zrem、zincrby、zscore、zrevrangebyscore

zadd 键 权重1 值1  权重2 值2  ....                  #score权重是可以重复的，元素值是不可以重复的
zrange 键  起始位置  终止位置 [withscores]          #起始位置 0表示左边开始的第一个元素，终止位置 -1表示到最后一个元素；[withscores]添加会显示权重
zcard 键                                            #统计元素的数量
zcount 键 起始权重  终止权重                        #统计指定权重范围的元素数量
zrem 键  值1 值2 ...                                #删除指定的元素
zincrby 键 权重 值                                  #添加新的元素或增加指定元素的权重
zscore 键 值                                        #查看指定键的值的权重
zrevrangebyscore 键 起始权重  终止权重 [limit N M]  #按score从大到小查看
zrangebyscore myzset 5 10		#获取权重在5-10之间内容
zrangebyscore myzset (5 10		#获取权重在5-10之间内容,不包含5
zrangebyscore myzset -inf +inf limit 2 3		#-inf表示第一个成员（位置索引值最低的，即0），+inf表示最后一个成员（位置索引值最高的），limit后面的参数用于限制返回成员的值，2表示从位置索引等于2的成员开始，取后面3个成员。

10.2 zrevrange

zrevrange 键  起始位置  终止位置                    #降序查看
zrevrangebyscore 键 起始权重  终止权重 [limit N M]  #按权重进行查看

11.常用命令总结

string

set 键 值
get 键

list

lpush 键 值1 值2 ....                #从左边开始插入元素
rpush 键 值1 值2 ....                #从右边开始插入元素
lrange 键 起始位置  终止位置         #起始位置 0表示左边开始的第一个元素，终止位置 -1表示到最后一个元素

hash

hset 键 字段 值
hget 键 字段

set

sadd 键 值1 值2 ....         #元素不能重复
smembers 键                  #查看元素，无序的

zset

zadd 键 权重1 值1  权重2 值2  ....                  #score权重是可以重复的，元素值是不可以重                                                                             复的
zrange 键  起始位置  终止位置 [withscores]          #起始位置 0表示左边开始的第一个元                                                                                          素，终止位置 -1表示到最后一个元素

zrangebyscore 键 起始权重  终止权重 [limit N M]     #查看指定权重范围的元素，按score                                                                                          从小到大，limit N M 表示只显示第                                                                                N个之后的M个元素（不包括第N个元 素）