【网络编程】Web服务器shttpd源码剖析——线程池调度

 

 

hello ！大家好呀！ 欢迎大家来到我的网络编程系列之web服务器shttpd源码剖析——线程池调度，在这篇文章中，你将会学习到在Linux内核中如何创建一个自己的并发服务器shttpd，并且我会给出源码进行剖析，以及手绘UML图来帮助大家来理解，希望能让大家更能了解网络编程技术！！！

希望这篇文章能对你有所帮助，大家要是觉得我写的不错的话，那就点点免费的小爱心吧！

               

目录

​一.多线程池作用

​1.1 SHTTPD的多客户支持需求

​1.2 SHTTPD多线程池的实现

​二.多线程状态及其函数

 ​2.1 多线程状态

 ​2.2 多线程创建以及销毁

---

 

 

一.多线程池作用

1.1 SHTTPD的多客户支持需求

SHTTPD支持多个客户端的并发连接，在同一时刻允许多个客户同时成功获得服务器上的网络资源，这是现代服务器的基本属性，SHTTPD启动的时候处理单元初始化了多个线程，当客户增加超过上限时候，会根据现场情况增加处理单元。

 如图：

 当超过四个客户端并发访问时，SHTTPD会将后来的请求放在队列排序中，当处理单元空闲时再响应其他请求。

 

1.2 SHTTPD多线程池的实现

服务器SHTTPD的多客户端支持模块为此程序的主处理模块。在此模块中进行客户端连接的处理、请求数据的接收、响应数据的发送和服务线程的调度。模块的核心部分采用线程池的服务器模型，如图：

 模块初始化的时候，建立线程池，其中的线程负责接收客户端的请求、解析数据并响应数据。当客户端请求到来的时候，主线程查看当前线程池中是否有空闲的工作线程，当没有工作线程的时候会建立新的工作线程，然后分配任务给空闲的线程。

 

工作线程轮询接收客户端的请求数据，进行请求数据分析并响应请求，处理完毕后，关闭客户端的连接，等待主线程分发下一个请求。

　多客户端模块的线程处理框架如图所示：

主要分为两个部分：线程调度部分和线程退出部分。线程调度部分负责线程初始化、线程的增减、线程的销毁及线程互斥区的保护。线程退出部分则发送信号给工作线程，使得工作线程能够及时地释放资源。这主要应用于接收到用户的信号 SIGINT 时调用。
 

二.多线程状态及其函数

 2.1 多线程状态

工作线程分为多个状态：初始化状态 ， 线程空闲状态， 线程运行状态 ， 线程退出中状态和线程退出完毕状态：

线程建立的时候状态为线程初始化状态，此时工作线程不可以接受主线程的任务，刚刚进入线程函数。

线程建立完毕的时候进入线程空闲状态，此时可以接受主线程分配的任务，处理客户端的请求，并进行响应。

线程运行状态为线程正在处理客户端请求的时机，可以由空闲状态转入，转入的条件为主线程分配给此线程一个任务。

在处理完客户端请求时，线程可以转入空闲状态，等待下一次客户端请求任务的分配。

线程退出中的状态主要由接收到SIGINT 信号后调用线程退出函数时引起，此时各个线程在非阻塞的时候会及时响应此状态，释放资源、关闭连接。进入线程退出。

进入退出状态后各个线程都释放完申请的动态资源。

 2.2 多线程创建以及销毁

线程控制管理结构：

struct worker_opts{
    pthread_t th;            //线程的ID号
    int flags;                //线程状态
    pthread_mutex_t mutex;//线程任务互斥
    struct worker_ctl *work;//本线程的总控结构
};

之后使用线程初始化函数，将所有线程初始化：

void Worker_Init()
{
    DBGPRINT("LCW==>Worker_Init");
    int i = 0;
    //初始化总控参数
    wctls = (struct worker_ctl*)malloc( sizeof(struct worker_ctl)*conf_para.MaxClient);//开辟空间
    memset(wctls,0, sizeof(*wctls)*conf_para.MaxClient);//清零
    //初始化一些参数
    for(i=0;i<conf_para.MaxClient;i++)
    {
        //opt&connn结构和worker_ctl结构形成回指针
        wctls[i].opts.work = &wctls[i];
        wctls[i].conn.work = &wctls[i];
        //opts结构部分的初始化
        wctls[i].opts.flags = WORKER_DETACHED;
        //wctls[i].opts.mutex = PTHREAD_MUTEX_INITIALIZER;
        pthread_mutex_init(&wctls[i].opts.mutex,NULL);//初始化互斥锁
        pthread_mutex_lock(&wctls[i].opts.mutex);
        //conn部分的初始化
        //con_req&con_res与conn结构形成回指
        wctls[i].conn.con_req.conn = &wctls[i].conn;
        wctls[i].conn.con_res.conn = &wctls[i].conn;
        wctls[i].conn.cs = -1;//客户端socket连接为空
        //conn.con_req部分初始化:请求结构
        wctls[i].conn.con_req.req.ptr = wctls[i].conn.dreq;
        wctls[i].conn.con_req.head = wctls[i].conn.dreq;
        wctls[i].conn.con_req.uri = wctls[i].conn.dreq;
        //conn.con_res部分初始化：响应结构
        wctls[i].conn.con_res.fd = -1; 
        wctls[i].conn.con_res.res.ptr = wctls[i].conn.dres;
 
    }    
    for (i = 0; i < conf_para.InitClient;i++)
    {
        //增加规定个数工作线程
        Worker_Add(i);
    }
    DBGPRINT("LCW<==Worker_Init\n");
}

 然后使用调度函数对空闲线程进行调度使用：

******************************************************
函数名：worker(void *arg)
参数：worker_ctl *wctls
功能：线程处理函数
*******************************************************/
static void* worker(void *arg)
{
    DBGPRINT("LCW==>worker\n");
    struct worker_ctl *ctl = (struct worker_ctl *)arg;//为何不直接传这个类型过来？
    struct worker_opts *self_opts = &ctl->opts;//定义一个选项结构
    pthread_mutex_unlock(&thread_init);//解锁互斥
    self_opts->flags = WORKER_IDEL;//初始化线程为空闲，等待任务
    //如果主控线程没有让此线程退出，则循环处理任务
    for(;self_opts->flags != WORKER_DETACHING;)//while(self_opts->flags != WORKER_DETACHING)
    {
        //DBGPRINT("work:%d,status:%d\n",(int)self_opts->th,self_opts->flags );
        //查看是否有任务分配
        int err = pthread_mutex_trylock(&self_opts->mutex);//互斥预锁定
        //pthread_mutex_trylock()是pthread_mutex_lock() 的非阻塞版本
        if(err)
        {
            //DBGPRINT("NOT LOCK\n");
            sleep(1);
            continue;
        }
        else
        {
            //有任务，do it
            DBGPRINT("Do task\n");
            self_opts->flags = WORKER_RUNNING;//执行标志
            do_work(ctl);
            close(ctl->conn.cs);//关闭套接字
            ctl->conn.cs = -1;
            if(self_opts->flags == WORKER_DETACHING)
                break;
            else
                self_opts->flags = WORKER_IDEL;
        }
    }
    //主控发送退出命令
    //设置状态为已卸载
    self_opts->flags = WORKER_DETACHED;
    workersnum--;//工作线程-1
 
    DBGPRINT("LCW<==worker\n");
    return NULL;
}
/******************************************************
函数名：WORKER_ISSTATUS(int status)
参数：欲查询的线程状态
功能：查询线程状态
*******************************************************/
int WORKER_ISSTATUS(int status)
{
    int i = 0;
    for(i = 0; i<conf_para.MaxClient;i++)
    {
        if(wctls[i].opts.flags == status)
            return i;//返回符合的线程
    }
    return -1;//没有符合的线程状态
}

 最后使用线程销毁函数，收回资源：

/******************************************************
函数名：Worker_Destory()
参数：
功能：销毁线程
*******************************************************/
void Worker_Destory()
{
    DBGPRINT("LCW==>Worker_Destory\n");
    int i = 0;
    int clean = 0;
 
    for(i=0;i<conf_para.MaxClient;i++)
    {
        DBGPRINT("thread %d,status %d\n",i,wctls[i].opts.flags );
        if(wctls[i].opts.flags != WORKER_DETACHED)//如果状态不是已经卸载
            Worker_Delete(i);
    }
 
    while(!clean)
    {
        clean = 1;
        for(i = 0; i<conf_para.MaxClient;i++)
        {
            DBGPRINT("thread %d,status %d\n",i,wctls[i].opts.flags );
            if(wctls[i].opts.flags == WORKER_RUNNING || wctls[i].opts.flags == WORKER_DETACHING)
                clean = 0;
        }
        if(!clean)
            sleep(1);
    }
    DBGPRINT("LCW<==Worker_Destory\n");
}

当然，这只是一部分源码，但这些是最主要的线程池框架，许多小的细节函数大家可以自己实现或者查资料，找我也是可以的哦！（欢迎私信！！！） 

 

 

   好啦！到这里这篇文章就结束啦，关于实例代码中我写了很多注释，如果大家还有不懂得，可以评论区或者私信我都可以哦！！ 感谢大家的阅读，我还会持续创造网络编程相关内容的，记得点点小爱心和关注哟！