Python 调用 C 动态链接库,包括结构体参数、回调函数等

项目中要对一个用 C 编写的 .so 库进行逻辑自测。这项工作,考虑到灵活性,我首先考虑用 Python 来完成。

研究了一些资料,采用 python 的 ctypes 来完成这项工作。已经验证通过,本文记录一下适配流程。验证采用 cpp 来设计,不过暂时还没有涉及类的内容。以后如果需要再补足。

本文章采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

原文发布于:https://segmentfault.com/a/1190000013339754

参考资料

ctypes

以下资料是关于 ctypes 的,也就是本文采用的资料:

一些 Python 本身的资料

由于研究 ctypes 时我用的是 Python 2.7,后来切换到 Python 3 的时候稍微遇到一点适配问题,因此也顺便记录一下我切换过程中参考的一些资料:

其他 python 调用 C 的方法

Python 调用 C 还有其他的几个解决方案,比如 cythonSWIG 等等。但是查了不少资料没能解决我的两个关键诉求(结构体参数和回调函数):

环境准备

ctypes 包准备

使用 ctypes,需要首先安装 python-dev 包:

Ubuntu:
$ sudo apt-get install python-dev -y
CentOS:
$ sudo yum install python-devel -y

这里主要包含了 ctypes 包。

.so 文件准备

将你的 C 代码编译成 .so 文件。这里假设目标文件是 libtest.so,放在工作目录下。

基本参数函数调用

首先是最简单的函数调用,并且函数参数为基本数据类型。待调用的函数定义如下:

extern "C" int max(int a, int b)

{

    return (a > b) ? a : b;

}

这种情况下,在 Python 中的调用就很简单了。我们需要使用 ctypes 包中的 cdll 模块加载 .so 文件,然后就可以调用库中的函数了。

Python 代码如下:

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
from ctypes import *

so_file = cdll.LoadLibrary('./libtest.so')	# 如果前文使用的是 import ctypes,则这里应该是 ctypes.cdll.LoadLobrary(...)
ret = so_file.max(22, 20)
print('so_file class:', type(so_file))
print('so_file.max =', ret)

输出:

so_file class: <class 'ctypes.CDLL'>
so_file.max = 22

调用以结构体为参数的函数

这就稍微复杂点了,因为 C 语言中的结构体在 Python 中并没有直接一一对应。不过不用担心,简单而言,解决方案就是:在 Python 代码中调用 ctypes 的类进行 Python 化的封装

网上的代码进行了最简化的演示,这里我从这一小节开始,建议读者把一个 .so 文件,封装成 Python 模块。这样一来库的包装更加简洁和清晰。


C 代码

这里是 C 代码的部分,主要是结构体的声明。用于示例的函数很简单,只是一个 print 功能而已:

typedef struct _test_struct
{
    int     integer;
    char *  c_str;
    void *  ptr;
    int     array[8];
} TestStruct_st;

extern "C" const char *print_test_struct(TestStruct_st *pTestSt)
{
    if (NULL == pTestSt) {
        return "C -- parameter NULL";		# "C --" 打头区分这是在 .so 里面输出的
    }
    printf("C -- {\n");
    printf("C -- \tinteger : %d\n", pTestSt->integer);
    printf("C -- \tcstr    : %s\n", pTestSt->c_str);
    printf("C -- \tptr     : %p\n", pTestSt->ptr);
    printf("C -- \tarray   : [");
    for (int tmp = 0; tmp < 7; tmp ++) {
        printf("%d, ", pTestSt->array[tmp]);
    }
    printf("%d]\n", pTestSt->array[7]);
    printf("C -- }\n");
    return "success";
}

Python 封装

封装结构体

首先,我们要对结构体进行转换:

from ctypes import *

INTARRAY8 = c_int * 8

class PyTestStruct(Structure):
    'TestStruct_st 的 Python 版本'
    _fields_ = [
        ("integer", c_int),
        ("c_str", c_char_p),
        ("ptr", c_void_p),
        ("array", INTARRAY8)
    ]

首先对结构体里的 int 数组进行了重定义,也就是 INTARRAY8

接着,注意一下 _fields_ 的内容:这里就是对 C 数据类型的转换。左边是 C 的结构成员名称,右边则是在 python 中声明一下各个成员的类型。其他的一些类型请参见官方文档

此外还需要注意一下类似于 c_int, c_void_p 等等的定义是在 ctypes 中的,如果是用 impoer ctypes 的方式包含 ctypes 模块,则应该写成 ctypes.c_int, ctypes.c_void_p

第三个要注意的是:这个类必须定义为 ctypes.Structure 的子类,否则在进行后续的函数传递时,ctypes 由于不知道如何进行数据类型的对应,会抛出异常

封装 .so 函数

class testdll:
    '用于 libtest.so 的加载,包含了 cdll 对象'

    def __init__(self):
        self.cdll = cdll.LoadLibrary('./libtest.so')	# 直接加载 .so 文件。感觉更好的方式是写成单例
        return

    def print_test_struct(self, test_struct):
        func = self.cdll.print_test_struct
        func.restype = c_char_p
        func.argtypes = [POINTER(PyTestStruct)]
        return func(byref(test_struct)).decode()

注意最后一句 func(byref(test_struct)) 中的 byref。这个函数可以当作是 C 中的取地址符 & 的 Python 适配。因为函数参数是一个结构体指针(地址),因此我们需要用上 byref 函数。

Python 调用

直接上 Python 代码,很短的(import 语句就不用写了吧,读者自行发挥就好):

test_struct = PyTestStruct()
test_struct.integer = 1
test_struct.c_str = 'Hello, C'.encode()		# Python 2.x 则不需要写 encode
test_struct.ptr = 0xFFFFFFFF
test_struct.array = INTARRAY8()

for i in range(0, len(test_struct.array)):
    j = i + 1
    test_struct.array[i] = j * 10 + j

so_file = testdll()
test_result = so_file.print_test_struct(test_struct)
print('test_result:', test_result)

执行结果:

C -- {
C -- 	integer : 1
C -- 	cstr    : Hello, C
C -- 	ptr     : 0xffffffff
C -- 	array   : [11, 22, 33, 44, 55, 66, 77, 88]
C -- }
test_result: success

这里可以看到,结构体参数的准备还是很简单的,就是将用 Python 适配过来之后的类中对应名字的成员进行赋值就好了。

注意一下在 Python 3.x 中,strbytes 类型是区分开的,而 char * 对应的是后者,因此需要进行 encode / decode 转换。在 Python 2.x 则不需要。

调用以回调函数地址为参数的函数

这个主题就稍微绕一些了,也就是说在 C 接口中,需要传入回调函数作为参数。这个问题在 Python 中也可以解决,并且回调函数可以用 Python 定义。

C 代码

C 代码很简单:回调函数的传入参数为 int,返回参数也是 int。C 代码获取一个随机数交给回调去处理。

extern "C" void print_given_num(int (*callback)(int))
{
    if (NULL == callback) {
        printf("C -- No number given\n");
    }
    static int s_isInit = 0;
    if (0 == s_isInit) {
        s_isInit = 1;
        srand(time(NULL));
    }
    int num = callback((int)rand());
    printf("C -- given num by callback: %d (0x%x)\n", num, num);
    return;
}

Python 封装

这里我还是用前面的 testdll 类来封装:

class testdll:
    '用于 libtest.so 的加载,包含了 cdll 对象'

    def __init__(self):
        self.cdll = cdll.LoadLibrary('./libtest.so')
        return

    def print_given_num(self, callback):
        self.cdll.print_given_num(callback)
        return

testCallbackType = CFUNCTYPE(None, c_int, c_int)

最后的 testCallbackType 通过 ctypes 定义了一个回调函数类型,这个在后面的调用中需要使用

CFUNCTYPE 后面的第一个参数为 None,这表示回调函数的返回值类型为 void

Python 调用

回调函数准备

回调函数用 Python 完成,注意接受的参数和返回数据类型都应该与 .so 中的定义一致。我这里的回调函数中,将 .so 传过来的参数取了一个最低字节返回:

def _callback(para):
    print('get callback req:', hex(para))
    print('return:', hex(para & 0xFF))
    return para & 0xFF

函数调用

so_file = testdll()
cb = testCallbackType(_callback)
so_file.print_given_num(cb)

执行结果:

get callback req: 0x4f770b3a
return: 0x3a
C -- given num by callback: 58 (0x3a)

怎么样,是不是觉得很简单?


本文章采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

原文发布于:https://segmentfault.com/a/1190000013339754,同为本人的专栏。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏向治洪

Kotlin 1.2 新特性

在Kotlin 1.1中,团队正式发布了JavaScript目标,允许开发者将Kotlin代码编译为JS并在浏览器中运行。在Kotlin 1.2中,团队增加了在...

19410
来自专栏杂烩

duubo分组聚合 原

除了官网上有这部分的简单介绍外,在别的地方几乎找到真正可行的测试了,这里自己捣鼓一下,已做备忘。

521
来自专栏青玉伏案

算法与数据结构(二) 栈与队列的线性和链式表示(Swift版)

数据结构中的栈与队列还是经常使用的,栈与队列其实就是线性表的一种应用。因为线性队列分为顺序存储和链式存储,所以栈可以分为链栈和顺序栈,队列也可分为顺序队列和链队...

17110
来自专栏QQ会员技术团队的专栏

JavaScript引擎分析

JavaScript引擎分析 一. JavaScript简介 JavaScript是一种动态类型的脚本语言;在1995年时,由Netscape公司的Brend...

2165
来自专栏haifeiWu与他朋友们的专栏

Java命令之javap初探

javap是jdk自带的一个工具在jdk安装目录的/bin下面可以找到,可以对代码反编译,也可以查看java编译器生成的字节码,对代码的执行过程进行分析,了解j...

592
来自专栏开源优测

[快学Python3]JSON解析

概述 本章节将为大家介绍如何使用Python来编码和解码json对象。 json是javascript object notation的简写,是一种轻量级的数据...

26310
来自专栏闻道于事

设计模式之适配器模式

适配器就是一种适配中间件,它存在于不匹配的二者之间,用于连接二者,将不匹配变得匹配,简单点理解就是平常所见的转接头,转换器之类的存在。

502
来自专栏编程

Go中defer的5 个坑-第一部分

首发于:https://studygolang.com/articles/12061 Go 中 defer 的 5 个坑 - 第一部分 通过本节的学习以避免掉入...

2075
来自专栏Flutter入门到实战

Android插件化开发核心类ClassLoader相关详解

最近在研究插件化开发,顺便就了解了 ClassLoader 这个类加载器,顺藤摸瓜,查到了jvm里面的双亲委派模型,这里就简单的讲一下什么是预定义类加载器和双亲...

913
来自专栏我是攻城师

深入理解Java类加载器机制

Java里面的类加载机制,可以说是Java虚拟机核心组件之一,掌握和理解JVM虚拟机的架构,将有助于我们站在底层原理的角度上来理解Java语言,这也是为什么我们...

462

扫码关注云+社区