专栏首页技术栈大杂烩Python: C扩展初体验

Python: C扩展初体验

前言

使用 Python 毋庸置疑减少了很多规则约束和开发成本,让我们能够更加专注于逻辑而非语法。但是得此失彼,开发效率提高了,却带来了运行性能的问题,所以就常常被其他门派追着暴打。 身为一个 pythoner,我们也很忧伤呀,怪我们咯..

万幸的是,虽然上帝关掉了我们一扇门,但是却为我们打开了另一扇窗,正因为底层是用 C语言 写的,所以我们可以将一些性能损耗比较大的功能,或者模块,通过 C语言 重写,然后 import xxxx 来无缝结合。

哪怕工作中比较少机会自己写C扩展, 了解这块的知识,也有利于我们更加深入了解 Python 的运行本质。

网上比较是通过 ctypes 或者 setup.py 的方式实现引用和编译安装,这边想试下最原始的方法~

快速开车

1. 实现接口函数

接口函数是什么意思?可以简单理解成就是 PythonC 的对接函数,举个栗子:

static PyObject *test(PyObject *self, PyObject *args){
    int arg1, arg2;
    if(!(PyArg_ParseTuple(args, "ii", &arg1, &arg2))){
        return NULL;
    }
    return Py_BuildValue("i",  arg1 + arg2 * 10);
}

我们可以看到这个函数和传统意义上的 C 用法用点不同了,特别是在函数形参那边的PyObject self, PyObject args

第一个参数是 PyObject *self,这个参数是Python内部使用的,可以不用管;

第二个参数是 PyObject *args,这个参数非常重要,因为这个揽括了所有传给函数的参数。它是一个参数列表,把所有的参数都整合到

一个 string, 因此,如果我们需要解析这些参数需要用特定的姿势!我们需要用到 PyArg_ParseTuple 来解开这个扣人心弦的入口!

PyArg_ParseTuple 函数说明:

  1. args就是需要转换的参数;
  2. ii 就是参数类型的格式符号,这里代表 int init;(更多类型请看官网:https://docs.python.org/2/c-a...
  3. 后面的 &arg1, &arg2 就是通过参数解析提取的值,存放的地方,这有点类似 C 的 scanf

很明显,这三个参数,在数量上存在这一定的联系,也就是,传进去两个 int参数,那么就肯定是对应了两个 ii,然后就会对应存在 两个实际的"容器"内,这里要注意,一不小心就会 Segmentation fault

对应有解析参数的,肯定也有 C模块 值转换成 Python对象 的,那就是 Py_BuildValue

Py_BuildValue 函数说明:

# 对比着来看
PyArg_ParseTuple(args, "ii", &arg1, &arg2)    Python -> C模块
Py_BuildValue("i",  arg1 + arg2 * 10);        C 模块 -> Python
  1. 第一个参数 和 PyArg_ParseTuple 的第二个参数一样,都是格式化符号;
  2. 第二个参数是需要转换的参数,函数 Py_BuildValue 会把所有的返回指都组装成 tuplePython

相关的官方文档:https://docs.python.org/2/c-a...

2. 定义方法列表

# 示例
static PyMethodDef  testMethods[] = {
    {"test", test, METH_VARARGS, "This is test"},
    {NULL, NULL, 0, NULL}
};

PyMethodDef 是一个 C结构体,用来完成一个映射,也就是便于方法查找,我们把需要被外面调用的方法都记录在这表内。

PyMethodDef 结构体成员说明:

  1. 第一个字段:在 Python 里面使用的方法名;
  2. 第二个字段:C 模块内的函数名;
  3. 第三个字段:方法参数类型,是无参数(METH_NOARGS) , 还是有位置参数(METH_VARARGS), 还是其他等等;
  4. 第四个字段:方法描述,就是通过 help() 或者 doc 可以看到的;

需要注意的是,这个列表的最后必须以 {NULL, NULL, 0, NULL} 的形式来代表声明结束,也有一些大佬用 {NULL, NULL},不过个人觉得写完整也不会累到哪去, 相反会比较直观。

# PyMethodDef 结构体定义源码, 取自 Python2.7 Include/methodobject.h
struct PyMethodDef {
    const char  *ml_name;   /* The name of the built-in function/method */
    PyCFunction  ml_meth;   /* The C function that implements it */              
    int      ml_flags;     /* Combination of METH_xxx flags, which mostly 
                              describe the args expected by the C func */
    const char  *ml_doc;    /* The __doc__ attribute, or NULL */
};

正因为存在这样的一份记录表,Python 才能够寻找到相应的函数

同样的,如果我们想要找一个模块的 Python 函数 对应什么的 C模块方法,也能通过这地方比较粗暴得知,例如 Python 的 list

# 取自 Python2.7 object/listobject.c
static PyMethodDef list_methods[] = {
    {"__getitem__", (PyCFunction)list_subscript, METH_O|METH_COEXIST, getitem_doc},
    {"__reversed__",(PyCFunction)list_reversed, METH_NOARGS, reversed_doc},
    {"__sizeof__",  (PyCFunction)list_sizeof, METH_NOARGS, sizeof_doc},
    {"append",          (PyCFunction)listappend,  METH_O, append_doc},
    {"insert",          (PyCFunction)listinsert,  METH_VARARGS, insert_doc},
    {"extend",      (PyCFunction)listextend,  METH_O, extend_doc},
    {"pop",             (PyCFunction)listpop,     METH_VARARGS, pop_doc},
    {"remove",          (PyCFunction)listremove,  METH_O, remove_doc},
    {"index",           (PyCFunction)listindex,   METH_VARARGS, index_doc},
    {"count",           (PyCFunction)listcount,   METH_O, count_doc},
    {"reverse",         (PyCFunction)listreverse, METH_NOARGS, reverse_doc},
    {"sort",            (PyCFunction)listsort,    METH_VARARGS | METH_KEYWORDS, sort_doc},
    {NULL,              NULL}           /* sentinel */
};

3. 实现初始化函数 (关键)

PyMODINIT_FUNC inittest(){
    Py_InitModule("test", testMethods);
}

需要特别注意的是,这个函数名不能像上面那样,这是有规定的,必须是 init + 模块名字,比方说,我的最后编译出来的文件是 test.so, 那我的函数名就是 inittest, 这样在 Python 导入 test 模块时,才能找到这个函数并调用。

这里调用了 Py_InitModule 函数来将模块名字和映射表结合在一起。表示 test 这个模块使用 testMethods 这个映射表。

4. 注意对象引用管理和内存泄露

Python 在对象管理、内存管理上面,有引用计数标记-清除分代回收等策略,其中引用计数发生的频率会非常非常高,依赖这个通常已经能够解决大部分的对象残留问题了。

所以,在我们编写 C扩展 时,也需要时刻谨记这步.

主要会用到下面两个宏:

1. 增加引用: Py_INCREF    例: Py_INCREF(pObj1)
2. 减少引用: Py_DECREF    例: Py_DECREF(pObj1)

不能直接使用 free/delete 释放,必须使用 Py_DECREF(pObj1), 然后 pObj1 = NULL 即可。

具体可以参考: 官网:https://docs.python.org/2/ext... 垃圾回收机制: http://www.wklken.me/posts/20...

编译导出

gcc  -I /usr/include/python2.7/ -fpic --shared -o test.so test.c

完整例子

test.c

#include<Python.h>
static PyObject *test(PyObject *self, PyObject *args){
    int arg1, arg2;
    if(!(PyArg_ParseTuple(args, "ii", &arg1, &arg2))){
        return NULL;
    }
    return Py_BuildValue("i",  arg1 + arg2 * 10);
}

static PyMethodDef  testMethods[] = {
    {"test", test, METH_VARARGS, "This is test"},
    {NULL, NULL}
};

PyMODINIT_FUNC inittest(){
    Py_InitModule("test", testMethods);
}

test.py

import test
print test.test(1, 2)   # 输出 21

欢迎各位大神指点交流, QQ讨论群: 258498217

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Linux: 关于 SIGCHLD 的更多细节

    对该机制有稍微了解的话,不难得知一个关键因素:SIGCHLD。正是这个SIGCHLD起到了通知的作用,所以后面的处理也是基于它而实现。

    Lin_R
  • Linux: Nginx proxy_pass域名解析引发的故障

    部署细节:   两容器均部署在同一机器上,通过 docker-compose 编排,并且通过link方式链接。

    Lin_R
  • LINUX: 在不重启各自socket程序情况下, 断开ESTAB的TCP链接

    上面的意思就是, server端在5555端口监听, 而client 通过 6666 端口去连接

    Lin_R
  • leetcode题解-66.加一

    给定一个由整数组成的非空数组所表示的非负整数,在该数的基础上加一。 最高位数字存放在数组的首位, 数组中每个元素只存储一个数字。 你可以假设除了整数 0 之外,...

    编程珠玑
  • select模块(I/O多路复用)

    Python中的select模块专注于I/O多路复用,提供了select poll epoll三个方法(其中后两个在Linux中可用,windows仅支持sel...

    小小咸鱼YwY
  • 干货 | Taro 开发微信小程序入门与实战

    如果你是 Vue 开发者,但又不想过多的折腾,继续沿用 Vue 的开发方式来开发小程序,那么用 mpvue 将会是你的最明智的选择。同时也支持一些第三方 UI ...

    极乐君
  • 这个创业团队,凭什么比肩京东、美团,出现在微信的搜索框上?

    朝夕日历 Pro、群约小助手、朝夕万年历……关注知晓程序的朋友可能对这几个小程序都不会感到陌生。但是对出品这些优质小程序的团队,你可能却并不太了解。

    知晓君
  • 凭据收集总结

    本来按计划应该学习横向移动,但是发现一个问题,如何横向?这就是我记录这一章的目的,提升权限之后获取凭证,利用已获取的凭证扩大战果才是正确的姿势,学习的主要资料是...

    重生信息安全
  • Unix&Linux下常见的性能分析工具介绍

    Vmstat是一个很全面的性能分析工具,可以观察到系统的进程状态、内存使用、虚拟内存使用、磁盘的IO、中断、上下文切换、CPU使用等。系统性能分析工具中,使用...

    一见
  • 远程线程注入

    一丶远程线程注入的讲解 远程线程注入的原理,我会写一个远程线程开发的例子 我们总共需要几步 /*1.查找窗口,获取窗口句柄*/ /*2.根据...

    IBinary

扫码关注云+社区

领取腾讯云代金券