devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

epoll服务器百万并发测试

作者：IT小白 | 2024-02-16 08:16:03

赞

踩

epoll服务器百万并发测试

 百万并发

服务器百万并发是指能够承载的客户端的数量，也就是说可以承接100w个客户端的连接。通常来说服务器的并发量还与业务、与后台数据库的承载量有关，本文中只考虑做到百万连接建立，不做业务处理.。

测试准备

相应的服务器请参考前文：《用反应器模式和epoll构建百万并发服务器》。

所需的客户端请参考文章末尾。

需要的环境，1台8G8核的ubuntu（配置服务器），3台4G4核的ubuntu（配置客户端，每个客户端负责的连接数尽量平均，也就是33.33w）。如果电脑资源足够，性能够好，建议把配置做大些，问题会少不少。

解决连接上限问题

先用一台客户端尝试向服务器发起大量连接，发现报错。

再看看服务器的情况，同样是报错。

我们用ulimit -a查看服务器情况发现是一个进程最多能打开1024个文件，也就是建立1024个文件描述符。于是用ulimit -n解决，客户端和服务器都需要解决这些问题。

解决五元不组问题

服务器每建立一个连接，都会在内核中建立一个tcp控制块，简称tcb。tcb包含了以下元素：源ip，目的ip，源port，目的port，协议类型（tcp，udp等）。

通常协议类型和目的ip（服务器ip）是固定下来的。百万并发确保每个连接都对应剩下3个元素的不同的排列组合，若不能保证，产生的问题叫“五元不组”。

源port一般不被客户端指定，一台机子可用的port大概是（65535-1024）个，1024是因为部分非用户主动空控制的程序也在使用端口，在高并发下情况下1024-65535可能会无法用尽。

因此解决“五元不组”通常由以下几种解法：

  1. 源ip多样化：多准备几个不同ip的客户端。

  2. 目的port多样化：让服务器多开几个listen port并且负载均衡。

  3. 源port多样化，修改/etc/sysctl.conf文件，明确指定客户端在本地的端口的可用范围。

本文中两种方法都用，基于解法1配置了3台不同的ubuntu，每台上都有1个客户端。基于解法2服务器开了20个监听端口，并且客户端循环地进行connect。

基于解法3，则需要修改客户端所在的ubuntu的配置文件。

如图，在相关配置文件的末尾添加一条语句：

解决内存泄漏的问题

服务器每建立一个clientfd，都需要相应的数据结构储存clinetfd。普通的数组往往容易发生越栈从而发生段错误，不了解的人往往会以为这是因为代码的逻辑错误。我们在服务器中建立了百万长度的数组进行存储，不够优雅但是有效。

解决效率受限的问题

在并发连接的时候，经常连着连着就发现，每一千个连接的耗时突然暴增，这是受到了系统级别的文件描述符数量的限制。也需要调整。往客户端的配置文件里添加这句话。

该命令与ulimit -n的差别在于作用的级别不同，前者作用于系统层面，需要root权限，后者作用于当前用户的会话级别。

解决进程制终止问题

进程被强制终止可能发生在客户端，也有可能发生在服务器。

有些机子可能会发生服务器进程CPU和内存消耗过大，被强制kill掉的情况。这是由两种解法：

  1. 把配置做高，内存更大。
  2. 修改内核tcp协议栈内存、发送缓冲区、接收缓冲区的大小。

CPU和内核消耗的监控命令：htop

在conf文件中可以继续添加以下语句，分别用于修改内核tcp协议栈内存、单个连接发送缓冲区、单个连接接收缓冲区的最小值、默认值、最大值，可以逐步逐步地进行测试什么数据合适。

注意，也有可能是客户端配置不够高，发生了崩溃，导致服务器大量断连从而也崩溃。也有可能是因为进行被强制终止，内存被强制回收导致的。重点是用htop观察谁的内存爆了。

成功完成百万并发测试

测试用客户端代码

  1. #include <stdio.h>
  2. #include <string.h>
  3. #include <stdlib.h>
  4.  
  5. #include <sys/types.h>
  6. #include <sys/socket.h>
  7. #include <sys/epoll.h>
  8. #include <errno.h>
  9. #include <netinet/tcp.h>
  10. #include <arpa/inet.h>
  11. #include <netdb.h>
  12. #include <fcntl.h>
  13. #include <sys/time.h>
  14. #include <unistd.h>
  15.  
  16. #define MAX_BUFFER              128
  17. #define MAX_EPOLLSIZE   (384*1024)
  18. #define MAX_PORT                20
  19.  
  20. #define TIME_SUB_MS(tv1, tv2)  ((tv1.tv_sec - tv2.tv_sec) * 1000 + (tv1.tv_usec - tv2.tv_usec) / 1000)
  21.  
  22. int isContinue = 0;
  23.  
  24. static int ntySetNonblock(int fd) {
  25.         int flags;
  26.  
  27.         flags = fcntl(fd, F_GETFL, 0);
  28.         if (flags < 0) return flags;
  29.         flags |= O_NONBLOCK;
  30.         if (fcntl(fd, F_SETFL, flags) < 0) return -1;
  31.         return 0;
  32. }
  33.  
  34. static int ntySetReUseAddr(int fd) {
  35.         int reuse = 1;
  36.         return setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)&reuse, sizeof(reuse));
  37. }
  38.  
  39.  
  40.  
  41. int main(int argc, char **argv) {
  42.         if (argc <= 2) {
  43.                 printf("Usage: %s ip port\n", argv[0]);
  44.                 exit(0);
  45.         }
  46.  
  47.         const char *ip = argv[1];
  48.         int port = atoi(argv[2]);
  49.         int connections = 0;
  50.         char buffer[128] = {0};
  51.         int i = 0, index = 0;
  52.  
  53.         struct epoll_event events[MAX_EPOLLSIZE];
  54.  
  55.         int epoll_fd = epoll_create(MAX_EPOLLSIZE);
  56.  
  57.         strcpy(buffer, " Data From MulClient\n");
  58.  
  59.         struct sockaddr_in addr;
  60.         memset(&addr, 0, sizeof(struct sockaddr_in));
  61.  
  62.         addr.sin_family = AF_INET;
  63.         addr.sin_addr.s_addr = inet_addr(ip);
  64.  
  65.         struct timeval tv_begin;
  66.         gettimeofday(&tv_begin, NULL);
  67.  
  68.         while (1) {
  69.                 if (++index >= MAX_PORT) index = 0;
  70.  
  71.                 struct epoll_event ev;
  72.                 int sockfd = 0;
  73.  
  74.                 if (!isContinue) {
  75.                         sockfd = socket(AF_INET, SOCK_STREAM, 0);
  76.                         if (sockfd == -1) {
  77.                                 perror("socket");
  78.                                 goto err;
  79.                         }
  80.  
  81.                         //ntySetReUseAddr(sockfd);
  82.                         addr.sin_port = htons(port+index);
  83.  
  84.                         if (connect(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {
  85.                                 perror("connect");
  86.                                 goto err;
  87.                         }
  88.                         //ntySetNonblock(sockfd);
  89.                         ntySetReUseAddr(sockfd);
  90.  
  91.                         //sprintf(buffer, "Hello Server: client --> %d\n", connections);
  92.                         //send(sockfd, buffer, strlen(buffer), 0);
  93.  
  94.                         ev.data.fd = sockfd;
  95.                         ev.events = EPOLLIN;
  96.                         epoll_ctl(epoll_fd, EPOLL_CTL_ADD, sockfd, &ev);
  97.  
  98.                         connections ++;
  99.                 }
  100.                 //connections ++;
  101.                 if (connections % 1000 == 999) {
  102.                         struct timeval tv_cur;
  103.                         memcpy(&tv_cur, &tv_begin, sizeof(struct timeval));
  104.  
  105.                         gettimeofday(&tv_begin, NULL);
  106.  
  107.                         int time_used = TIME_SUB_MS(tv_begin, tv_cur);
  108.                         printf("connections: %d, sockfd:%d, time_used:%d\n", connections, sockfd, time_used);
  109.  
  110.                         int nfds = epoll_wait(epoll_fd, events, connections, 100);
  111.                         for (i = 0;i < nfds;i ++) {
  112.                                 int clientfd = events[i].data.fd;
  113.  
  114.                                 if (events[i].events & EPOLLOUT) {
  115.                                         sprintf(buffer, "data from %d\n", clientfd);
  116.                                         send(sockfd, buffer, strlen(buffer), 0);
  117.                                 } else if (events[i].events & EPOLLIN) {
  118.                                         char rBuffer[MAX_BUFFER] = {0};
  119.                                         ssize_t length = recv(sockfd, rBuffer, MAX_BUFFER, 0);
  120.                                         if (length > 0) {
  121.                                                 printf(" RecvBuffer:%s\n", rBuffer);
  122.  
  123.                                                 if (!strcmp(rBuffer, "quit")) {
  124.                                                         isContinue = 0;
  125.                                                 }
  126.  
  127.                                         } else if (length == 0) {
  128.                                                 printf(" Disconnect clientfd:%d\n", clientfd);
  129.                                                 connections --;
  130.                                                 close(clientfd);
  131.                                         } else {
  132.                                                 if (errno == EINTR) continue;
  133.  
  134.                                                 printf(" Error clientfd:%d, errno:%d\n", clientfd, errno);
  135.                                                 close(clientfd);
  136.                                         }
  137.                                 } else {
  138.                                         printf(" clientfd:%d, errno:%d\n", clientfd, errno);
  139.                                         close(clientfd);
  140.                                 }
  141.                         }
  142.                 }
  143.  
  144.                 usleep(100);
  145.         }
  146.  
  147.         return 0;
  148.  
  149. err:
  150.         printf("error : %s\n", strerror(errno));
  151.         return 0;
  152.  
  153. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/91938
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号