运维做开发

这个屌丝很懒，什么也没留下！

热门标签

LWIP内存管理之动态内存池_memp num localhostlist

作者：运维做开发 | 2024-07-31 14:28:11

踩

memp num localhostlist

无论在哪一种系统中，动态内存管理都是一个非常重要的机制。无论在内核对各种网络数据的接收和处理本质上是对各种内存的分配、传递和处理。

LWIP中用到了内存池和内存堆这两个东东。我们来仔细看看。

1 动态内存池：

动态内存池分配策略可以说是一个比较笨的分配策略了，但其分配策略实现简单，内存的分配、释放效率高，可以有效防止内存碎片的产生。这种方式下，用户只能申请大小固定的空间。在LWIP中，这种方式主要用于内核中固定数据结构的分配。例如UDP控制块、TCP控制块等，内核在初始化的时候已经为每个数据结构类型都初始化好了一定数量的POOL，源文件memp.c和memp.h包含了实现动态内存池分配策略的所有数据结构和函数。

系统在初始化时，会事先在内存中初始化相应的空闲内存空间，如上图所示，系统将所有可用区域以固定的大小为单位进行划分，然后用一个简单的链表将所有空闲块连接起来。由于链表中所有节点的大小相同，所以分配时不需要查找，直接取出第一个节点中的空间分配给用户即可；

释放时，也很简单，直接将释放的内存空间插入到对应链表首部即可。

内存池的基本思路就是这个样子的，这种方式的内存分配用在固定的数据结构进行空间的分配，例如TCP头部、IP首部。我们来看看LWIP中的实现。

把协议栈中所有的内存池POOL放在一起，并把他们放在一片连续的内存区域，这呈现给用户的就是一个大的缓存池。因此，缓存池的内部组织应该是这个样子的：开始处放了A类型的POOL池a个，紧接着放上B类型的POOL池b个，再接着放上C类型的POOL池c个，直到N类型的POOL池n个。

系统中，和缓存池管理相关的全局数据变量或数据类型如下所示

我们一个一个来讲，看LWIP是如何一个一个来实现的

memp_t是系统定义的一个枚举数据类型，是为每一个POOL类型起了一个名字


typedef enum {
#define LWIP_MEMPOOL(name,num,size,desc)  MEMP_##name,
#include "lwip/memp_std.h"
  MEMP_MAX
} memp_t;

lwip中对mem_t的定义是这个样子，会不会有点烧脑，这是什么鬼

其余的那几个数据类型都是采用的类似方式，我们把mem_t搞懂，其他的也就明白了。

c语言中“##”是连接符的意思，用来连接两个token为一个token，下一句中则包含了memp_std.h,这个文件里面都是啥呢


#if LWIP_RAW
LWIP_MEMPOOL(RAW_PCB,        MEMP_NUM_RAW_PCB,         sizeof(struct raw_pcb),        "RAW_PCB")
#endif /* LWIP_RAW */
 
#if LWIP_UDP
LWIP_MEMPOOL(UDP_PCB,        MEMP_NUM_UDP_PCB,         sizeof(struct udp_pcb),        "UDP_PCB")
#endif /* LWIP_UDP */
 
#if LWIP_TCP
LWIP_MEMPOOL(TCP_PCB,        MEMP_NUM_TCP_PCB,         sizeof(struct tcp_pcb),        "TCP_PCB")
LWIP_MEMPOOL(TCP_PCB_LISTEN, MEMP_NUM_TCP_PCB_LISTEN,  sizeof(struct tcp_pcb_listen), "TCP_PCB_LISTEN")
LWIP_MEMPOOL(TCP_SEG,        MEMP_NUM_TCP_SEG,         sizeof(struct tcp_seg),        "TCP_SEG")
#endif /* LWIP_TCP */
 
#if IP_REASSEMBLY
LWIP_MEMPOOL(REASSDATA,      MEMP_NUM_REASSDATA,       sizeof(struct ip_reassdata),   "REASSDATA")
#endif /* IP_REASSEMBLY */
#if IP_FRAG && !IP_FRAG_USES_STATIC_BUF && !LWIP_NETIF_TX_SINGLE_PBUF
LWIP_MEMPOOL(FRAG_PBUF,      MEMP_NUM_FRAG_PBUF,       sizeof(struct pbuf_custom_ref),"FRAG_PBUF")
#endif /* IP_FRAG && !IP_FRAG_USES_STATIC_BUF && !LWIP_NETIF_TX_SINGLE_PBUF */
 
#if LWIP_NETCONN
LWIP_MEMPOOL(NETBUF,         MEMP_NUM_NETBUF,          sizeof(struct netbuf),         "NETBUF")
LWIP_MEMPOOL(NETCONN,        MEMP_NUM_NETCONN,         sizeof(struct netconn),        "NETCONN")
#endif /* LWIP_NETCONN */
 
#if NO_SYS==0
LWIP_MEMPOOL(TCPIP_MSG_API,  MEMP_NUM_TCPIP_MSG_API,   sizeof(struct tcpip_msg),      "TCPIP_MSG_API")
#if !LWIP_TCPIP_CORE_LOCKING_INPUT
LWIP_MEMPOOL(TCPIP_MSG_INPKT,MEMP_NUM_TCPIP_MSG_INPKT, sizeof(struct tcpip_msg),      "TCPIP_MSG_INPKT")
#endif /* !LWIP_TCPIP_CORE_LOCKING_INPUT */
#endif /* NO_SYS==0 */
 
#if LWIP_ARP && ARP_QUEUEING
LWIP_MEMPOOL(ARP_QUEUE,      MEMP_NUM_ARP_QUEUE,       sizeof(struct etharp_q_entry), "ARP_QUEUE")
#endif /* LWIP_ARP && ARP_QUEUEING */
 
#if LWIP_IGMP
LWIP_MEMPOOL(IGMP_GROUP,     MEMP_NUM_IGMP_GROUP,      sizeof(struct igmp_group),     "IGMP_GROUP")
#endif /* LWIP_IGMP */
 
#if (!NO_SYS || (NO_SYS && !NO_SYS_NO_TIMERS)) /* LWIP_TIMERS */
LWIP_MEMPOOL(SYS_TIMEOUT,    MEMP_NUM_SYS_TIMEOUT,     sizeof(struct sys_timeo),      "SYS_TIMEOUT")
#endif /* LWIP_TIMERS */
 
#if LWIP_SNMP
LWIP_MEMPOOL(SNMP_ROOTNODE,  MEMP_NUM_SNMP_ROOTNODE,   sizeof(struct mib_list_rootnode), "SNMP_ROOTNODE")
LWIP_MEMPOOL(SNMP_NODE,      MEMP_NUM_SNMP_NODE,       sizeof(struct mib_list_node),     "SNMP_NODE")
LWIP_MEMPOOL(SNMP_VARBIND,   MEMP_NUM_SNMP_VARBIND,    sizeof(struct snmp_varbind),      "SNMP_VARBIND")
LWIP_MEMPOOL(SNMP_VALUE,     MEMP_NUM_SNMP_VALUE,      SNMP_MAX_VALUE_SIZE,              "SNMP_VALUE")
#endif /* LWIP_SNMP */
#if LWIP_DNS && LWIP_SOCKET
LWIP_MEMPOOL(NETDB,          MEMP_NUM_NETDB,           NETDB_ELEM_SIZE,               "NETDB")
#endif /* LWIP_DNS && LWIP_SOCKET */
#if LWIP_DNS && DNS_LOCAL_HOSTLIST && DNS_LOCAL_HOSTLIST_IS_DYNAMIC
LWIP_MEMPOOL(LOCALHOSTLIST,  MEMP_NUM_LOCALHOSTLIST,   LOCALHOSTLIST_ELEM_SIZE,       "LOCALHOSTLIST")
#endif /* LWIP_DNS && DNS_LOCAL_HOSTLIST && DNS_LOCAL_HOSTLIST_IS_DYNAMIC */
#if PPP_SUPPORT && PPPOE_SUPPORT
LWIP_MEMPOOL(PPPOE_IF,      MEMP_NUM_PPPOE_INTERFACES, sizeof(struct pppoe_softc),    "PPPOE_IF")
#endif /* PPP_SUPPORT && PPPOE_SUPPO

memp_std.h文件中有很多形如LWIP_MEMPOOL()这样的语句，那是如何使用呢？例如

LWIP_MEMPOOL(RAW_PCB,        MEMP_NUM_RAW_PCB,         sizeof(struct raw_pcb),        "RAW_PCB")

对于这条语句，放到

#define LWIP_MEMPOOL(name,num,size,desc)  MEMP_##name,

那就是变成了MEMP_RAW_PCB，这就是这个内存池的名字。按照这种规则，编译完该头文件以后，枚举类型memp_t就定义出来了。文件memp_std.h本质上是有一个一个的LWIP_MEMPOOL宏组成的，编译器对他们以此进行替换，这样，当memp_std.h编译完成后，memp_t就建立起来了，内容如下：


typedef num{
     RAW_PCB,
     UDP_PCB,
     TCP_PCB,
     TCP_PCB_LISTEN,
     TCP_SEG,
     .........
     MEMP_MAX
}memp_t;

MEMP_MAX并不代表任何类型的POOL，这里巧妙的利用枚举来表示一下内核中有多少个内存池类型。

这个名字的作用是：在申请内存池的时候，就是以枚举中名字为依据来分配响应大小的内存空间。

对于这个头文件注意以下几点：

1、这个文件是会被多次编译，是因为我们在创建表中的数据类型时会多次编译这个头文件。

2、文件的最后有一句#undef LWIP_MEMPOOL，是因为我们会使用多次这个宏，并且使用的时候宏定义的功能不是一成不变的。

ok，明白了上述这个枚举变量的意思，其他的就都是相似的了，

memp_sizes指向每一类POOL中单个POOL的大小


const u16_t memp_sizes[MEMP_MAX] = {
#define LWIP_MEMPOOL(name,num,size,desc)  LWIP_MEM_ALIGN_SIZE(size),
#include "lwip/memp_std.h"
};

在该数组被编译时，宏LWIP_MEMPOOL被定义为LWIP_MEM_ALIGN_SIZE（刚才提高的这个宏会被多次使用，并且它的功能也会改变），后者是一个简单的对变量size进行操作的宏，它的作用是将size向上对MEM_ALIGNMENT取整，即保证size是内存对齐字节数的整数倍。该数组被编译后，就变成了这个样子


const u16_t memp_sizes[MEMP_MAX] = {
 LWIP_MEM_ALIGN_SIZE(sizeof(struct raw_pcb)),
 LWIP_MEM_ALIGN_SIZE(sizeof(struct udp_pcb)),
 LWIP_MEM_ALIGN_SIZE(sizeof(struct tcp_pcb)),
 LWIP_MEM_ALIGN_SIZE(sizeof(struct tcp_pcb_listen)),
 LWIP_MEM_ALIGN_SIZE(sizeof(struct tcp_seg)),
........
};

memp_num中保存了每一类POOL中包含的POOL个数


static const u16_t memp_num[MEMP_MAX] = {
#define LWIP_MEMPOOL(name,num,size,desc)  (num),
#include "lwip/memp_std.h"
};

直接将宏LWIP_MEMPOOL用其中的num参数代替，处理后的结果是


static const u16_t memp_num[MEMP_MAX] = {
(MEMP_NUM_RAW_PCB),
(MEMP_NUM_UDP_PCB),
(MEMP_NUM_TCP_PCB),
(MEMP_NUM_TCP_PCB_LISTEN),
..........
};

上述数组中MEMP_NUM_RAW_PCB宏都是可以自定义的，记录了相应类型POOL的个数，用户可以在lwipopts.h设置，若没有定义，将使用opt.h中的默认配置

memp_desc是一个指针数组，描述对应POOL


#ifdef LWIP_DEBUG
static const char *memp_desc[MEMP_MAX] = {
#define LWIP_MEMPOOL(name,num,size,desc)  (desc),
#include "lwip/memp_std.h"
};
#endif /* LWIP_DEBUG */

编译后变成这个样子


#ifdef LWIP_DEBUG
static const char *memp_desc[MEMP_MAX] = {
("RAW_PCB"),
("TCP_PCB"),
("UDP_PCB"),
("TCP_PCB_LISTEN"),
("TCP_SEG"),
.......
};
#endif /* LWIP_DEBUG */

memp_memory内存池区域


static u8_t memp_memory[MEM_ALIGNMENT - 1 
#define LWIP_MEMPOOL(name,num,size,desc) + ( (num) * (MEMP_SIZE + MEMP_ALIGN_SIZE(size) ) )
#include "lwip/memp_std.h"
];

这里看着有点费劲，这里把#define LWIP_MEMPOOL(name,num,size,desc)定义成+ ( (num) * (MEMP_SIZE + MEMP_ALIGN_SIZE(size) ) )这种形式，编译完头文件后就变成了

memp_memory[MEM_ALIGNMENT - 1+()+()+()+()+()+()+().......]这种形式了

MEMP_SIZE表示的是需要在每个POOL头部预留的空间，这里没有用到这个功能，这项值为0.宏MEMP_ALIGN_SIZE的功能也是将size的值向上取整，以满足对齐方式的要求。

最后还有一个全局指针数组memp_tab[],这个指针数组用于指向各个类型的内存池中的第一个空闲的POOL，就是要在分配空间的时候从这里取出，释放空间的时候从这个点插入。

static struct memp *memp_tab[MEMP_MAX];


struct memp {
  struct memp *next;
 
};

结构体memp很简单，主要是一个指针，指向下一个空闲的POOL

2 内存池的函数实现

与内存池相关的系统函数有3个；1、内存池初始化函数memp_init, 2、内存池分配函数memp_malloc. 3、内存池释放函数memp_free


void
memp_init(void)
{
  struct memp *memp;
  u16_t i, j;
 
 
 
 
  memp = (struct memp *)LWIP_MEM_ALIGN(memp_memory);            //先将内存池起始空间对齐
 
  /* for every pool: */                                         //依次对所有类型的内存POOL进行操作
  for (i = 0; i < MEMP_MAX; ++i) {
    memp_tab[i] = NULL;                                         //初始指针为NULL
              
    /* create a linked list of memp elements */
    for (j = 0; j < memp_num[i]; ++j) {                        //将同类型的POOL通过链表连接到一起
      memp->next = memp_tab[i];                                //采用头插入的方法
      memp_tab[i] = memp;                                     //memp_tab[i]始终指向该类POOL中第一个可用的内存块
      memp = (struct memp *)(void *)((u8_t *)memp + MEMP_SIZE + memp_sizes[i]);
    }
  }
 
}

初始化完毕后，形成的内存空间如下图所示

内存池分配

内存池的分配挺简单，只要memp_tab[]数组中相应链表的指针不为空，就说明该类型的POOL还有空间可分配。从memp_tab[]中取出相应的地址就能使用了。


/**
 * Get an element from a specific pool.
 *
 * @param type the pool to get an element from
 *
 * the debug version has two more parameters:
 * @param file file name calling this function
 * @param line number of line where this function is called
 *
 * @return a pointer to the allocated memory or a NULL pointer on error
 */
void * memp_malloc(memp_t type)                         //输入参数type就是需要分配的POOL的类型
 
{
  struct memp *memp;
  SYS_ARCH_DECL_PROTECT(old_level);                     //声明一个临界区保护变量
 
  SYS_ARCH_PROTECT(old_level);                          //进入临界区
 
  memp = memp_tab[type];                                //获取对应头指针指向的POLL
  
  if (memp != NULL) {
    memp_tab[type] = memp->next;                        //头指针移动，指向下一个节点
 
    MEMP_STATS_INC_USED(used, type);                     
 
    memp = (struct memp*)(void *)((u8_t*)memp + MEMP_SIZE);
  } else {
  
    MEMP_STATS_INC(err, type);
  }
 
  SYS_ARCH_UNPROTECT(old_level);                          //退出保护
 
  return memp;                                            //返回可用空间起始地址
}

内存池的释放也很简单，把要释放的空间插入到相应POOL的头部


/**
 * Put an element back into its pool.
 *
 * @param type the pool where to put mem
 * @param mem the memp element to free
 */
void
memp_free(memp_t type, void *mem)
{
  struct memp *memp;
  SYS_ARCH_DECL_PROTECT(old_level);                    //声明临界区变量
 
  if (mem == NULL) {
    return;
  }
 
 
  memp = (struct memp *)(void *)((u8_t*)mem - MEMP_SIZE);
 
  SYS_ARCH_PROTECT(old_level);
 
 
  MEMP_STATS_DEC(used, type); 
  
  memp->next = memp_tab[type];                //将这个POOL插入到memp_tab头部
  memp_tab[type] = memp;
 
 
 
  SYS_ARCH_UNPROTECT(old_level);               //退出临界区
}

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】