devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

浅析Linux 64位系统虚拟地址和物理地址的映射及验证方法

作者：小丑西瓜9 | 2024-02-18 08:12:13

赞

踩

linux 判断虚拟地址和物理地址是否合法

前言

有好久没更新了，这段时间发生了挺多大喜事哈。但是也还是有挺久没更新了，不得不意识到自己是个小菜鸡，就算是小菜鸡也要做一只快乐小菜鸡。就算更新慢但是我依然会持续更新，因为更文使我快乐。

虚拟内存

先简单介绍一下操作系统中为什么会有虚拟地址和物理地址的区别。因为Linux中有进程的概念，那么每个进程都有自己的独立的地址空间。

现在的操作系统都是64bit的，也就是说如果在用户态的进程中创建一个64位的指针，那么在这个进程中，这个指针能够指向的范围是0~0xFFFFFFFFFFFFFFFF(总共有16个F，每个F是4个bit)。

每个进程“理论上”都有这样的地址范围（-，-这里的”理论“是指猜测一下，指针乱指向未定义的范围会引发段错误，下文中会写明64bit的用户空间的地址范围）。

我们看到了，Linux为了让每个进程空间的独立，创造了虚拟地址这个概念。但是计算机最终还是需要操作物理的内存的。

那么虚拟地址和物理地址的映射关系是怎样的？也只能用映射表了。比如说：进程A虚拟空间中的第0x1234个字节，对应于物理内存中的第0x823ABC个字节。这个一个字节和一个字节对应，理论上是可以的，但是太消耗资源了，为了映射这“一个字节”，仅映射这“一个字节”的表项的大小也远超过了一个字节的大小（大约四十个字节左右）。这是不行的，这就像几十个产品和项目经理去管一个程序员工作，这是效率低下的。

页

所以页这个概念产生了，一个页一个页映射总还可以了吧，我们将页作为最小单位去映射就好了。大多数32位体系结构支持4KB的页，而64位体系结构一般会支持8KB的页。在linux使用命令获取当前系统的页大小：

getconf PAGE_SIZE

在我的ubuntu 16.04 x86_64上的系统得到的结果是 4096。目前大部分64位的系统的页大小都是4096个字节。

系统中每个物理页都会建立一个类似映射表的结构体，但是依然会有人觉得这有点浪费内存。我们来算一下，比如一个物理页的属性和映射表的内容占用40个字节（linux代码中是struct page）。假设如当前大部分Linux上的页为4KB大小，系统有4GB物理内存，那么就有1048576个页，这么多页的映射表消耗的内存是1048576 * 40byte = 40MB。用40MB去管理4GB，还是可以接受的。

64位系统的虚拟内存布局

在AArch64下，页大小为4KB时，页管理为四级架构时的Linux的进程中的虚拟内存布局如下：

可以看到即使是虚拟地址，用户态下能用的地址也就只是0 ~ 0000ffffffffffff，不过也有256TB大小了。也就是说每个进程都有自己独立的0 ~ 0000ffffffffffff的地址空间。0x0000ffffffffffff是12个f，也就是48个bit。

每个进程都有自己的虚拟地址到物理地址的映射关系表。Linux内核会根据每个不同的进程去查找表：如进程A的虚拟空间地址K的物理地址是哪个。为了加快查找效率，虚拟内存的地址的不同段映射到了不同的entry上，页管理表有4级的也有3级的。最常用的4级页管理映射表如下：

可以看到[47:0]这48个bits的虚拟地址，被分成了五段，前四段的每一份长度都是9 bits，最后一段是12 bits。

每个9 bits的段都是2^9 = 512，也就是说每个分级段都有512个entry。

最后一段[11:0]，大小是12 bits的即2^12 = 4096，4096就是一个页的大小，所以最后一段是页内偏移（因为映射是以页为单位，所以虚拟地址和物理地址的页内偏移都是一样的）。前四段合在一起就是虚拟页号。

我们举一个48 bit 虚拟地址的例子，这个地址以八进制表示：

003 010 007 413 1056

上面所述的每个Entry的结构体如下：

可以看到物理地址的页号是40 bits，也就是说最多有2^40个物理页，每个页是4096个字节，也就是最多4PB（4096TB）。

虚拟地址到物理地址的验证方法

说了这么多，如何验证上面说的这些是真的。就算推导出物理地址了，那又有啥用呢？

如果你知道共享库和静态库的区别的话，那么就会知道不同的进程如果用了同一个共享库，那么其实这两个不同的进程使用的共享库是指向同一个物理地址！如果能验证这一点，那么从虚拟地址推导到物理地址的方法大体是正确的，以上所述大体也是对的。

借助proc下的maps和pagemap

通过man命令

man proc

可以找到以下条目：以上我们知道通过/proc/[pid]/maps就能够知道一个进程的虚拟地址。以上我们知道通过/proc/[pid]/pagemap就能够将一个进程的虚拟地址页转成物理地址页。

测试代码

下面上硬菜。小伙子你要讲武德，你不能闪！

代码如下:

  1. #include <fcntl.h>
  2. #include <stdio.h>
  3. #include <stdint.h>
  4. #include <stdlib.h>
  5. #include <unistd.h>
  6.  
  7. size_t virtual_to_physical(pid_t pid, size_t addr)
  8. {
  9.     char str[20];
  10.     sprintf(str, "/proc/%u/pagemap", pid);
  11.     int fd = open(str, O_RDONLY);
  12.     if(fd < 0)
  13.     {
  14.         printf("open %s failed!\n", str);
  15.         return 0;
  16.     }
  17.     size_t pagesize = getpagesize();
  18.     size_t offset = (addr / pagesize) * sizeof(uint64_t);
  19.     if(lseek(fd, offset, SEEK_SET) < 0)
  20.     {
  21.         printf("lseek() failed!\n");
  22.         close(fd);
  23.         return 0;
  24.     }
  25.     uint64_t info;
  26.     if(read(fd, &info, sizeof(uint64_t)) != sizeof(uint64_t))
  27.     {
  28.         printf("read() failed!\n");
  29.         close(fd);
  30.         return 0;
  31.     }
  32.     if((info & (((uint64_t)1) << 63)) == 0)
  33.     {
  34.         printf("page is not present!\n");
  35.         close(fd);
  36.         return 0;
  37.     }
  38.     size_t frame = info & ((((uint64_t)1) << 55) - 1);
  39.     size_t phy = frame * pagesize + addr % pagesize;
  40.     close(fd);
  41.     printf("The phy frame is 0x%zx\n", frame);
  42.     printf("The phy addr is 0x%zx\n", phy);
  43.     return phy;
  44. }
  45.  
  46. int main(void)
  47. {
  48.     while(1)
  49.     {
  50.         uint32_t pid;
  51.         uint64_t virtual_addr;
  52.         printf("Please input the pid in dec:");
  53.  scanf("%u", &pid);
  54.         printf("Please input the virtual address in hex:");
  55.  scanf("%zx", &virtual_addr);
  56.  printf("pid = %u and virtual addr = 0x%zx\n", pid, virtual_addr);
  57.         virtual_to_physical(pid, virtual_addr);
  58.     }
  59.     return 0;
  60. }

首先，我编译一下！

gcc test.c -o haha

然后，我拷贝一下！

cp haha hahatest1; cp haha hahatest2; cp haha hahamonitor

接着，我运行一下！

  1. nohup  ./hahatest1 &
  2. [1] 3943
  3. nohup  ./hahatest2 &
  4. [2] 3944
  5. sudo ./hahamonitor 

这里你可能已经发现我的意图了，我是用进程hahamonitor查看进程hahatest1和进程hahatest2的内存地址。

但是你不能大意，运行hahamonitor 一定要加sudo或者root权限，不然读出来就都是0了。

先看看hahatest1和hahatest2进程的地址空间：

  1. zbf@zbf:~$ cat /proc/3943/maps 
  2. 00400000-00401000 r-xp 00000000 08:06 11150436                           /home/zbf/physic_virtual_memory/hahatest1
  3. 00600000-00601000 r--p 00000000 08:06 11150436                           /home/zbf/physic_virtual_memory/hahatest1
  4. 00601000-00602000 rw-p 00001000 08:06 11150436                           /home/zbf/physic_virtual_memory/hahatest1
  5. 011ad000-011cf000 rw-p 00000000 00:00 0                                  [heap]
  6. 7ffbf1b64000-7ffbf1d24000 r-xp 00000000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  7. 7ffbf1d24000-7ffbf1f24000 ---p 001c0000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  8. 7ffbf1f24000-7ffbf1f28000 r--p 001c0000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  9. 7ffbf1f28000-7ffbf1f2a000 rw-p 001c4000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  10. 7ffbf1f2a000-7ffbf1f2e000 rw-p 00000000 00:00 0 
  11. 7ffbf1f2e000-7ffbf1f54000 r-xp 00000000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  12. 7ffbf2133000-7ffbf2136000 rw-p 00000000 00:00 0 
  13. 7ffbf2153000-7ffbf2154000 r--p 00025000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  14. 7ffbf2154000-7ffbf2155000 rw-p 00026000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  15. 7ffbf2155000-7ffbf2156000 rw-p 00000000 00:00 0 
  16. 7ffd2529f000-7ffd252c0000 rw-p 00000000 00:00 0                          [stack]
  17. 7ffd25302000-7ffd25305000 r--p 00000000 00:00 0                          [vvar]
  18. 7ffd25305000-7ffd25307000 r-xp 00000000 00:00 0                          [vdso]
  19. ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0                  [vsyscall]
  20.  
  21. zbf@zbf:~$ cat /proc/3944/maps 
  22. 00400000-00401000 r-xp 00000000 08:06 11150444                           /home/zbf/physic_virtual_memory/hahatest2
  23. 00600000-00601000 r--p 00000000 08:06 11150444                           /home/zbf/physic_virtual_memory/hahatest2
  24. 00601000-00602000 rw-p 00001000 08:06 11150444                           /home/zbf/physic_virtual_memory/hahatest2
  25. 01e8b000-01ead000 rw-p 00000000 00:00 0                                  [heap]
  26. 7fe786964000-7fe786b24000 r-xp 00000000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  27. 7fe786b24000-7fe786d24000 ---p 001c0000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  28. 7fe786d24000-7fe786d28000 r--p 001c0000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  29. 7fe786d28000-7fe786d2a000 rw-p 001c4000 08:06 20714662                   /lib/x86_64-linux-gnu/libc-2.23.so
  30. 7fe786d2a000-7fe786d2e000 rw-p 00000000 00:00 0 
  31. 7fe786d2e000-7fe786d54000 r-xp 00000000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  32. 7fe786f33000-7fe786f36000 rw-p 00000000 00:00 0 
  33. 7fe786f53000-7fe786f54000 r--p 00025000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  34. 7fe786f54000-7fe786f55000 rw-p 00026000 08:06 20714659                   /lib/x86_64-linux-gnu/ld-2.23.so
  35. 7fe786f55000-7fe786f56000 rw-p 00000000 00:00 0 
  36. 7fffd3388000-7fffd33a9000 rw-p 00000000 00:00 0                          [stack]
  37. 7fffd33ce000-7fffd33d1000 r--p 00000000 00:00 0                          [vvar]
  38. 7fffd33d1000-7fffd33d3000 r-xp 00000000 00:00 0                          [vdso]
  39. ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0                  [vsyscall]

可以看到这两个进程都链接了/lib/x86_64-linux-gnu/libc-2.23.so这个动态库，在进程3943（hahatest1）中的虚拟地址是：7ffbf1b64000，但在进程3944中的虚拟地址是：7fe786964000

我们用hahamonitor康康它们的最终的物理地址都是什么？

  1. zbf@zbf:~/$ sudo ./hahamonitor 
  2. Please input the pid in dec:3943
  3. Please input the virtual address in hex:7ffbf1b64000
  4. pid = 3943 and virtual addr = 0x7ffbf1b64000
  5. The phy frame is 0x12ee58
  6. The phy addr is 0x12ee58000
  7.  
  8. Please input the pid in dec:3944
  9. Please input the virtual address in hex:7fe786964000
  10. pid = 3944 and virtual addr = 0x7fe786964000
  11. The phy frame is 0x12ee58
  12. The phy addr is 0x12ee58000

可以看到物理地址是一样的，都是0x12ee58000。另外我也实验过这两个进程对应的堆栈的物理地址都是不一样的，这就对了！

有兴趣的朋友可以自行下载代码跑一下。

参考资料:

  1. https://www.kernel.org/doc/html/v4.19/admin-guide/mm/pagemap.html

  2. https://www.kernel.org/doc/Documentation/vm/pagemap.txt

  3. https://www.kernel.org/doc/html/latest/arm64/memory.html

  4. https://constantsmatter.com/posts/virtual-address/

  5. 程序喵大人：https://mp.weixin.qq.com/s?__biz=MzI3NjA1OTEzMg==&mid=2247484681&idx=1&sn=45b7d8f38402622718fcdc10ba77f443&chksm=eb7a039adc0d8a8cc6bb635fcb8a3f2f567e064f9c0ee863297c90f486394b788de5c3fe6dbd&mpshare=1&scene=1&srcid=1129bC44tMBu7lpXza2ki1k6&sharer_sharetime=1606655711296&sharer_shareid=741c39217c916aaf06bf9827e80dbff6&exportkey=AX19wECY41gfhbceNfjn7ws%3D&pass_ticket=Tv1TS4ibFzi6ZvNrbr2emqQu9boZCHYlwz5dSAFLvlJHUrIsSAibiRbzFP%2FmiurU&wx_header=0#rd

  6. https://zhou-yuxin.github.io/articles/2017/Linux%20%E8%8E%B7%E5%8F%96%E8%99%9A%E6%8B%9F%E5%9C%B0%E5%9D%80%E5%AF%B9%E5%BA%94%E7%9A%84%E7%89%A9%E7%90%86%E5%9C%B0%E5%9D%80/index.html

推荐阅读：

专辑|Linux文章汇总

专辑|程序人生

专辑|C语言

我的知识小密圈

关注公众号，后台回复「1024」获取学习资料网盘链接。

欢迎转发，在看，评论~

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/106437
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号