C C++ redis pipeline读写数据

pipeline （流水线）允许 Redis 客户端一次向 Redis 发送多个命令，避免了多条指令发送多次网络请求。影响处理速度。
在C，C++中，Hiredis 提供了redisAppendCommand()函数来实现流水线的命令发送方案
redisAppendCommand()会先将命令缓存起来，在调用redisGetReply()方法后一次性将命令发送给redis，并取得第一个命令的返回结果。

性能提升

在作者使用过程中，需要将原有匹配的数据scan出来，再发请求获取对应key的value，然后替换原有key，生成新的一条数据，写入redis，再删除原有的那条数据。如此操作100万条数据，时间长达10分钟以上。
改用pipeline读写后，每次操作1万条数据，100万条数据大概用时10秒。
相比较于单条操作性能提升几百倍

#include <iostream>
#include<hiredis/hiredis.h>
#include <vector>

    int pipeline_process(struct timeval access_timeout, std::vector <std::string> &pipeline_cmd,
                         std::vector <std::string> &pipeline_resp, std::vector<int> &pipeline_resp_type) {
        if (0 == context) { return -1; }
        redisSetTimeout(context, access_timeout);
        for (int i = 0; i < pipeline_cmd.size(); i++) {
            redisAppendCommand(context, pipeline_cmd[i].c_str());
        }
        for (int i = 0; i < pipeline_cmd.size(); i++) {
            int type = -1;
            std::string resp_str = "";
            redisReply *reply = 0;
            int reply_status = redisGetReply(context, (void **) &reply);
            if (reply_status == REDIS_OK && reply != NULL) {
                type = reply->type;
                if (reply->str != NULL) {
                    resp_str = reply->str;
                }
            } else {
                printf("pipeline_process error i :%d cmd : %s", i, pipeline_cmd[i].c_str());
            }
            freeReplyObject(reply);
            pipeline_resp_status.push_back(type);
            pipeline_resp.push_back(resp_str);
        }
        return 0;
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

redis返回type

• 根据业务需求进行状态判断

　　REDIS_REPLY_STRING  ： 1 
　　REDIS_REPLY_ARRAY ： 2
　　REDIS_REPLY_INTEGER ：3 
　　REDIS_REPLY_NIL  ： 4
　　REDIS_REPLY_STATUS ： 5
　　REDIS_REPLY_ERROR ： 6
1
2
3
4
5
6

• 关于状态码补充说明
  • scan的正确返回状态码是REDIS_REPLY_ARRAY 2
  • get的正确返回状态码是REDIS_REPLY_STRING 1
  • set的正确返回状态码是REDIS_REPLY_STATUS 5 且reply->str为OK
  • del的正确返回状态码是REDIS_REPLY_INTEGER 3