当前位置:   article > 正文

Python实现Redis缓存MySQL数据并支持数据同步_python redis mysql

python redis mysql
简介

本文讲讲如何用Redis做MySQL的读缓存,提升数据库访问性能。

MySQL是一种很常用的关系型数据库,用于持久化数据,并存放在磁盘上。但如果有大数据量的读写,靠MySQL单点就会捉襟见肘,尽管可以在MySQL本身做优化,比如用更好的SQL语句设计、索引等等。也会用主从设计集群设计来优化性能。甚至借助工具做成分布式数据库。不过还有一种简单的方式来提升读性能,就是在MySQL的前面放一个缓存,比如Redis。Redis是一种高性能的内存数据库,用作缓存非常合适。Redis还支持分布式集群,来优化读写性能。Redis也可以持久化数据到磁盘,但Redis的持久化一定程度上会有丢数据的可能,因此数据完整性要求高的场合用MySQL更合适,而Redis用作缓存。

本文的重点是要解决数据的查询和更新过程中数据库的一致性问题。话不多说,开始上菜。

查询一致性

查询数据时:

  1. 先从Redis读取,如果存在则直接返回;
  2. 如果不存在则向MySQL查询数据;
    1. 把从MySQL读取的数据更新到Redis;
    2. 返回从MySQL读取的数据;

添加过期时间:

  1. Redis的记录添加过期时间;
    1. 如果没有记录,创建记录时会添加过期时间;
    2. 如果有记录:
      1. 如果过期时间内没有被查询,自动被Redis删除数据;
      2. 如果过期时间内被查询,重置过期时间,续期;

这样可以定时清除Redis中查询不频繁的数据,增加数据读取速度。

更新一致性

数据更新时:

  1. 先查询redis,如果有数据,先删除缓存数据
  2. 然后先写入更新数据到redis,并设置过期时间
  3. 最后再写入更新数据到mysql:
    1. 如果写入mysql失败,回滚(删除)redis和mysql的数据
MySQL表设计

使用学生表作为例子,存储学生的学号、姓名、生日、电话,主键为学号,建表语句如下:

# 以Linux命令行为例
mysql -uroot -pPASSWORD
CREATE DATABASE testdb;
USE testdb;
CREATE TABLE tb_student(
    stu_id INT AUTO_INCREMENT PRIMARY KEY NOT NULL,
    stu_name VARCHAR(20) NOT NULL,
    stu_birth DATE,
    stu_phone VARCHAR(100)
);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

插入数据:

# 多插入几条不一样的数据
INSERT INTO tb_student(
    stu_name,
    stu_birth,
    stu_phone
) VALUES (
    'Tom',
    '1900-11-11',
    15000000000
);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

数据如下:

Redis数据设计

使用Redis的hash类型存储MySQL读缓存,因为hash类型一个表可以对应多个键值对:

hmset stu_id:1 stu_name 'Tom' stu_birth '1900-11-11' stu_phone '15000000000'
  • 1

同时设置过期时间10分钟:

expire stu_id:1 600
  • 1
Python代码

完整代码如下:

import pymysql
import redis


class DatabaseCache:
    def __init__(self):
        # 连接MySQL
        self.mysql = pymysql.connect(
            host='192.168.173.140',
            port=3306,
            user='root',
            password='123456',
            database='testdb',
            charset='utf8mb4'
        )

        # 连接Redis
        self.redis = redis.Redis(
            host='192.168.173.140',
            port=6379,
            db=0,
            password='123456',
            decode_responses=True
        )

    def get_data(self, stu_id):
        # 根据学生id查询,name为redis hash表名
        name = f'stu_id:{stu_id}'
        res = self.redis.hgetall(name)

        # 查询到内容res为非空字典,否则为空字典
        if res:
            # 先查询Redis中是否存在数据,存在则直接返回,并且重置过期时间10分钟
            self.redis.expire(name, 600)
            print(f'get_data:redis有数据: {res}')
            return res

        else:
            # 没有查询到数据
            with self.mysql.cursor() as cursor:
                try:
                    # 从mysql查询
                    cursor.execute(
                        f'select stu_name, stu_birth, stu_phone from tb_student where stu_id={stu_id}'
                    )
                    data = cursor.fetchall()
                    print(f'get_data:redis无数据:mysql数据: {data}')

                    # 把查询结果写入Redis中,并设置过期时间10分钟
                    stu_name, stu_birth, stu_phone = data[0]  # 解包
                    cache_data = {
                        'stu_name': stu_name,
                        'stu_birth': str(stu_birth),
                        'stu_phone': stu_phone
                    }
                    self.redis.hset(name, mapping=cache_data)
                    self.redis.expire(name, 600)  # 设置过期时间

                    # 然后返回数据
                    return data

                except Exception as err:
                    print(f'{err=}')

    def put_data(self, data: list):
        stu_id, stu_name, stu_birth, stu_phone = data
        name = f'stu_id:{stu_id}'

        # 先查询redis中是否有数据,如果有先删除
        res = self.redis.hgetall(name)
        if res:
            # 如果只是部分更新,也可以不删除
            keys = self.redis.hkeys(name)
            self.redis.hdel(name, *keys)

        # 然后先写入新数据到redis
        new_data = {
            'stu_name': stu_name,
            'stu_birth': stu_birth,
            'stu_phone': stu_phone
        }
        self.redis.hset(name, mapping=new_data)
        self.redis.expire(name, 600)

        # 更新完redis,再写入mysql
        with self.mysql.cursor() as cursor:
            try:
                # 执行失败会抛异常
                cursor.execute(f'select stu_id from tb_student where stu_id={stu_id}')
                _res = cursor.fetchone()  # 无记录返回None
                if _res:
                    sql = f'update tb_student set stu_name="{stu_name}", stu_birth="{stu_birth}", ' \
                          f'stu_phone="{stu_phone}" where stu_id={stu_id}'
                    cursor.execute(sql)
                else:
                    cursor.execute(
                        f'insert into tb_student values ({stu_id}, "{stu_name}", "{stu_birth}", "{stu_phone}")'
                    )
                self.mysql.commit()
                print('redis有数据:mysql写入数据成功')

            except Exception as err:
                # 如果写入mysql不成功,需要回退redis,即删除redis中刚刚写入的数据
                keys = self.redis.hkeys(name)
                self.redis.hdel(name, *keys)
                self.mysql.rollback()  # mysql也要回退
                print(f'{err=}')

    def close(self):
        self.mysql.close()
        self.redis.close()


if __name__ == '__main__':
    db = DatabaseCache()
    db.get_data(2)
    db.put_data([5, 'Eve', '1995-01-01', '18800003333'])
    db.close()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118

完。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/670272
推荐阅读
相关标签
  

闽ICP备14008679号