专栏首页LINUX阅码场用户态进程如何得到虚拟地址对应的物理地址?

用户态进程如何得到虚拟地址对应的物理地址?

一般我们不需要从用户态得到进程虚拟地址对应的物理地址,因为一般来说用户进程是完全不关心物理地址的。

少数应用场景下,用户可能会关心,比如在用户态做DMA的场景(如DPDK之类的)。还有一些场景,比如想调试剖析每一页的内存占用情况,是否swap出去了等。

从用户态得到虚拟地址对应的物理地址,我们不可能去walk进程的page table,也没有权限。不过还好内核给我们提供了一个接口,叫pagemap,而且,这个接口与硬件的体系架构无关。在/proc/pid/下面有个文件叫pagemap,它会每个page,生成了一个64bit的描述符,来描述虚拟地址这一页对应的物理页帧号或者SWAP里面的便宜,详见文档:

linux/Documentation/admin-guide/mm/pagemap.rst

这64bit的描述如下:

不同的体系架构的MMU不同,页表格式也不同,但是pagemap这个接口与具体页表的格式无关,可以说都被抽象化了。

下面我们忽略swap的影响(假设关闭了swap或者page一直是pin的状态),从DPDK抄一段虚拟地址转换为物理地址的代码:

#define phys_addr_t     uint64_t
#define PFN_MASK_SIZE   8

phys_addr_t
rte_mem_virt2phy(const void *virtaddr)
{
        int fd, retval;
        uint64_t page, physaddr;
        unsigned long virt_pfn;
        int page_size;
        off_t offset;

        /* standard page size */
        page_size = getpagesize();

        fd = open("/proc/self/pagemap", O_RDONLY);
        if (fd < 0) { 
                ...
        }

        virt_pfn = (unsigned long)virtaddr / page_size;
        offset = sizeof(uint64_t) * virt_pfn;
        if (lseek(fd, offset, SEEK_SET) == (off_t) -1) {
                ...
                return -1;
        }

        retval = read(fd, &page, PFN_MASK_SIZE);
        close(fd);
        ...

        /*
         * the pfn (page frame number) are bits 0-54 (see
         * pagemap.txt in linux Documentation)
         */
        if ((page & 0x7fffffffffffffULL) == 0)
                return -1;

        physaddr = ((page & 0x7fffffffffffffULL) * page_size)
                + ((unsigned long)virtaddr % page_size);

        return physaddr;
}

最后的一步是关键的计算过程:

       physaddr = ((page & 0x7fffffffffffffULL) * page_size)
                + ((unsigned long)virtaddr % page_size);

page & 0x7fffffffffffffULL取得了页帧号(PFN),乘以页的size得到这页起始的物理地址,之后加上virtaddr % page_size的页内偏移,得到最终的物理地址。

我们来实操一下调用上面的函数完成地址转化:

int main(int argc, char *argv[])
{
  uint8_t *p = malloc(1024 * 1024);

  *(p + 4096) = 10;
  printf("virt:%p phys:%p\n", p + 4096, rte_mem_virt2phy(p + 4096));

  *(p + 2 * 4096) = 10;
  printf("virt:%p phys:%p\n", p + 2 * 4096, rte_mem_virt2phy(p + 2 * 4096));
}

运行结果如下:

~$ sudo ./a.out 
virt:0x7f81e402a010 phys:0x2b601010
virt:0x7f81e402b010 phys:0x3ceec010

内核态实现pagemap proc接口的代码位于:

fs/proc/task_mmu.c

其中比较核心的函数是把PTE转换为pagemap_entry的过程,有兴趣的童鞋可以仔细阅读下:

特别留意画红线的位置,可以知道pagemap里面的那些flag是怎么被置上的。

本文分享自微信公众号 - Linux阅码场(LinuxDev),作者:宋宝华

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 文件系统和裸块设备的page cache问题

    文件系统读取文件一般会使用do_generic_file_read(),mapping指向普通文件的address space。如果一个文件的某...

    Linux阅码场
  • 宋宝华:论Linux的页迁移(Page Migration)完整版

    对于用户空间的应用程序,我们通常根本不关心page的物理存放位置,因为我们用的是虚拟地址。所以,只要虚拟地址不变,哪怕这个页在物理上从DDR的这里飞到DDR的那...

    Linux阅码场
  • 郭健:Linux内存管理系统参数配置之overcommit

    终于可以进入Linux kernel内存管理的世界了,但是从哪里入手是一个问题,当面对一个复杂系统的时候,有时候不知道怎么开始。遵守“一切以人为本”的原则,我最...

    Linux阅码场
  • [Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)

    最近在使用Python爬取网页内容时,总是遇到JS临时加载、动态获取网页信息的困难。例如爬取CSDN下载资源评论、搜狐图片中的“原图”等,此时尝试学习Phant...

    统计学家
  • 文件系统和裸块设备的page cache问题

    文件系统读取文件一般会使用do_generic_file_read(),mapping指向普通文件的address space。如果一个文件的某...

    Linux阅码场
  • 深度 | 解析InnoDB引擎

    一、综述 innodb的物理文件包括系统表空间文件ibdata,用户表空间文件ibd,日志文件ib_logfile,临时表空间文件ibtmp,undo独立表空...

    腾讯云数据库 TencentDB
  • 浅析InnoDB文件结构

    innodb的物理文件包括系统表空间文件ibdata,用户表空间文件ibd,日志文件ib_logfile,临时表空间文件ibtmp,undo独立表空间等。

    腾讯数据库技术
  • Django自定义列表 models字段显示方式

    我们可以在这基础上改进,添加其它字段,从而改变django后台admin 数据库列表字段的显示。 这个页面应该提供便利,比如说:在这个列表中可以看到编号,标题,...

    砸漏
  • Django快速分页在后端(视图函数中)在前端(html模板中)

    分页 在web开发中,对大量的商品进行分页显示,是常见的需求,django对分页直接提供了现成的函数,让我们的开发更为快速便捷... 动图_Django快...

    zhaoolee
  • 基于zepto的微信手机端微场景HTML5页面特效

    page处是管理图片的,在改div中添加删除图片及图片中的相关组件,如在div标签为page page-9中添加的Button组件。

    汐楓

扫码关注云+社区

领取腾讯云代金券