前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >内核必须懂(五): per-CPU变量

内核必须懂(五): per-CPU变量

作者头像
sean_yang
发布2019-04-01 15:09:03
1.3K0
发布2019-04-01 15:09:03
举报
文章被收录于专栏:Sorrower的专栏Sorrower的专栏


前言

之前内核必须懂(四): 撰写内核驱动说到了基础的驱动模块写法. 这次目标就是计算进入驱动ioctl或者其他某个驱动函数的次数. 当然, 你可能会觉得, 这弄个全局变量计数不就完了吗? 但是这里的要求是要并行进行访问, 所以统计的是多核多线程的访问次数. 是不是感觉没有那么简单了? 你可能会回答, 上锁, 那基本等于串行, 太low, 这里展示真正的并行访问与计数.


用户态代码

先来看下用户态代码:

代码语言:javascript
复制
#include <iostream>
#include <sys/ioctl.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <string>

using namespace std;

#define NUM_THREADS 20 

// 文件描述符
int fd = 0;

// 多线程调用函数
void *pthread_fx( void *args ) {
    ioctl( fd, 1, 0 );
}

int main() {
    int ret = 0;
    
    // 打开文件
    if((fd = open("/dev/hellodr", O_RDWR)) < 0) {
        cerr << strerror(errno) << endl;
        return -1;
    }

    // 开启多线程
    pthread_t tids[NUM_THREADS];
    for ( int i = 0; i < NUM_THREADS; ++i ) {
        ret = pthread_create( &tids[i], NULL, pthread_fx, NULL );
        if ( ret != 0 ) {
            printf( "pthread_create error: error_code = %d\n", ret );
        }
    }

    // 回收线程资源
    for ( int i = 0; i < NUM_THREADS; ++i ) {
        pthread_join(tids[i], NULL);
    }

    // 关闭文件
    close( fd );
    
    return 0;
}

这里就是开20个线程调用驱动的ioctl函数. 没什么要说的.


驱动代码

是依据上一次的内容内核必须懂(四): 撰写内核驱动扩展的, 变化基本在DriverCloseDriverIOControl两个函数中.

代码语言:javascript
复制
#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/fs.h>
#include <linux/init.h>
#include <linux/delay.h>

#define    MAJOR_NUM    231
#define    DEVICE_NAME  "hellodr"

DEFINE_PER_CPU( long, gUsage ) = 0;

int DriverOpen( struct inode *pslINode, struct file *pslFileStruct )
{
    printk( KERN_ALERT DEVICE_NAME " hello open.\n" );
    return(0);
}


ssize_t DriverWrite( struct file *pslFileStruct, const char __user *pBuffer, size_t nCount, loff_t *pOffset )
{
    printk( KERN_ALERT DEVICE_NAME " hello write.\n" );
    return(0);
}


int DriverClose( struct inode *pslINode, struct file *pslFileStruct )
{
    int     i       = 0;
    unsigned long   ulBaseAddr  = 0;
    unsigned long   ulOffset    = 0;
    long        *pUsage     = NULL;
    long        usageSum    = 0;

    ulOffset = (unsigned long) (&gUsage);
    for_each_online_cpu( i )
    {
        ulBaseAddr  = __per_cpu_offset[i];
        pUsage      = (long *) (ulBaseAddr + ulOffset);
        usageSum    += (*pUsage);
        printk( KERN_ALERT DEVICE_NAME " pUsage = %lx, *pUsage = %ld\n", (unsigned long) pUsage, *pUsage );
    }
    printk( KERN_ALERT DEVICE_NAME " %ld\n", usageSum );

    return(0);
}


long DriverIOControl( struct file *pslFileStruct, unsigned int uiCmd, unsigned long ulArg )
{
    long *pUsage = NULL;
    /* printk( KERN_ALERT DEVICE_NAME ": pUsage = 0x%lx %lx %ld", (unsigned long) pUsage, (unsigned long) (&gUsage), (*pUsage) ); */
    preempt_disable();
    pUsage = this_cpu_ptr( (long *) (&gUsage) );
    (*pUsage)++;
    preempt_enable();
    return(0);
}


struct file_operations hello_flops = {
    .owner      = THIS_MODULE,
    .open       = DriverOpen,
    .write      = DriverWrite,
    .release    = DriverClose,
    .unlocked_ioctl = DriverIOControl
};

static int __init hello_init( void )
{
    int ret;

    ret = register_chrdev( MAJOR_NUM, DEVICE_NAME, &hello_flops );
    if ( ret < 0 )
    {
        printk( KERN_ALERT DEVICE_NAME " can't register major number.\n" );
        return(ret);
    }
    printk( KERN_ALERT DEVICE_NAME " initialized.\n" );
    return(0);
}


static void __exit hello_exit( void )
{
    printk( KERN_ALERT DEVICE_NAME " removed.\n" );
    unregister_chrdev( MAJOR_NUM, DEVICE_NAME );
}


module_init( hello_init );
module_exit( hello_exit );
MODULE_LICENSE( "GPL" );
MODULE_AUTHOR( "Sean Depp" );

per-CPU变量

但是在说代码之前, 要说一下per-CPU变量 变量, 也就是DEFINE_PER_CPU( long, gUsage ) = 0;这一行. 可以先看看这篇文章这篇文章, 简单来说就是在单cpu环境下生效的变量. 那你可能会说, 我就一个核啊, 岂不是没用了, 但是这是相对于虚拟cpu来说的, 也就是说, 如果你是4核8线程, 就可以同时有8个这样的per-CPU变量生效. 正因为有这样的变量, 计数变得非常简单, 只需要统计每个cpu中的这个变量即可. 还有个问题需要解决, 那就是获取每个cpu的基地址, 这里又有一个宏for_each_online_cpu(), 只需要给个变量即可循环输出活跃的cpu了. 宏真是好东西哦~


关闭抢占

多核情况下, 就还有一个问题, 抢占. 当然了, 这里的代码简单, 不关闭抢占大多数情况下也不会出错, 但是情况复杂的话, 出错概率就会大大提高, 甚至你不知道怎么错的. 而且这可是内核, 错了往往十分致命.

代码语言:javascript
复制
preempt_disable();
pUsage = this_cpu_ptr( (long *) (&gUsage) );
(*pUsage)++;
preempt_enable();

这里还有一个宏this_cpu_ptr, 获取per cpu变量的线性地址. 这是操作系统的知识了, 我就不多说了, 自行google咯. 那我来说一下, 为什么要关闭抢占. 试想一下, 获取到地址之后, 正打算++操作, 结果中断抢占, 到了另一个核, 之前的地址就对不上了, 这时候进行++操作就完全不对了. 所以为了不发生这样的问题, 就需要关闭抢占, 当然, 关闭中断也行, 但是中断对操作系统影响太大了, 不推荐.


演示

说了这么多, 万一演示不出来, 就没有任何意义, 所以跑下程序. 编译生成.ko, .out这些不多说了, mknod上篇文章内核必须懂(四): 撰写内核驱动也说了. 这里补充一下, 看到了警告, 这是缺了个库, 最直接的解决方案就是, 安装这个库之后, 重编译内核. 否则其他方案都过于麻烦.

image.png

这里看到有8个cpu, 因为这是4核8线程的cpu, 然后一共跑了20次, 每个核跑的次数也可以看到. 所以, 实验成功.

image.png


最后

喜欢记得点赞, 有意见或者建议评论区见哦~


本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019.03.30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 用户态代码
  • 驱动代码
    • per-CPU变量
      • 关闭抢占
      • 演示
      • 最后
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档