专栏首页Dechin的专栏在C++中调用Python

在C++中调用Python

技术背景

虽然现在Python编程语言十分的火爆,但是实际上非要用一门语言去完成所有的任务,并不是说不可以,而是不合适。在一些特定的、对于性能要求比较高的场景,还是需要用到传统的C++来进行编程的。但是C++的一个缺点是比较难找到很好的轮子,这也是很多人专用Python的一个重要原因。这篇文章我们要介绍的是一个比较特殊的场景——用C++的代码去调用Python函数中实现的一些功能。这样的话,如果代码的主体还是用C++完成的,而部分功能为了简便,引入一些Python中已经封装好的函数,这样就可以很好的结合两种语言各自的特点。而另一种工作方式:通过Python来调用一些C++或者Fortran中实现的高性能函数,可以参考这一篇博客。这两种不同的使用方法各有优劣,但是如果以Python为主导,就很难避开GIL的问题,这里我们就不过多的展开。

Python的安装

为了使用Python.h这个扩展项,我们需要安装一个python*-dev而不是python*,这两者略有区别,下面的案例展示的是在Ubuntu20.04下安装python3.9-dev的方法:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ sudo apt install python3.9-dev
正在读取软件包列表... 完成
正在分析软件包的依赖关系树       
正在读取状态信息... 完成       
下列软件包是自动安装的并且现在不需要了:
  chromium-codecs-ffmpeg-extra gstreamer1.0-vaapi
  libgstreamer-plugins-bad1.0-0 linux-headers-5.8.0-43-generic
  linux-hwe-5.8-headers-5.8.0-43 linux-image-5.8.0-43-generic
  linux-modules-5.8.0-43-generic linux-modules-extra-5.8.0-43-generic
使用'sudo apt autoremove'来卸载它(它们)。
将会同时安装下列软件:
  libexpat1-dev libpython3.9 libpython3.9-dev zlib1g-dev
下列【新】软件包将被安装:
  libexpat1-dev libpython3.9 libpython3.9-dev python3.9-dev zlib1g-dev
升级了 0 个软件包,新安装了 5 个软件包,要卸载 0 个软件包,有 30 个软件包未被升级。
需要下载 6,613 kB 的归档。
解压缩后会消耗 28.7 MB 的额外空间。
您希望继续执行吗? [Y/n] Y
获取:1 http://repo.huaweicloud.com/ubuntu focal/main amd64 libexpat1-dev amd64 2.2.9-1build1 [116 kB]
获取:2 http://repo.huaweicloud.com/ubuntu focal-updates/universe amd64 libpython3.9 amd64 3.9.0-5~20.04 [1,710 kB]
获取:3 http://repo.huaweicloud.com/ubuntu focal-updates/universe amd64 libpython3.9-dev amd64 3.9.0-5~20.04 [4,119 kB]
获取:4 http://repo.huaweicloud.com/ubuntu focal-updates/main amd64 zlib1g-dev amd64 1:1.2.11.dfsg-2ubuntu1.2 [155 kB]
获取:5 http://repo.huaweicloud.com/ubuntu focal-updates/universe amd64 python3.9-dev amd64 3.9.0-5~20.04 [512 kB]
已下载 6,613 kB,耗时 4秒 (1,594 kB/s)
正在选中未选择的软件包 libexpat1-dev:amd64。
(正在读取数据库 ... 系统当前共安装有 269544 个文件和目录。)
准备解压 .../libexpat1-dev_2.2.9-1build1_amd64.deb  ...
正在解压 libexpat1-dev:amd64 (2.2.9-1build1) ...
正在选中未选择的软件包 libpython3.9:amd64。
准备解压 .../libpython3.9_3.9.0-5~20.04_amd64.deb  ...
正在解压 libpython3.9:amd64 (3.9.0-5~20.04) ...
正在选中未选择的软件包 libpython3.9-dev:amd64。
准备解压 .../libpython3.9-dev_3.9.0-5~20.04_amd64.deb  ...
正在解压 libpython3.9-dev:amd64 (3.9.0-5~20.04) ...
正在选中未选择的软件包 zlib1g-dev:amd64。
准备解压 .../zlib1g-dev_1%3a1.2.11.dfsg-2ubuntu1.2_amd64.deb  ...
正在解压 zlib1g-dev:amd64 (1:1.2.11.dfsg-2ubuntu1.2) ...
正在选中未选择的软件包 python3.9-dev。
准备解压 .../python3.9-dev_3.9.0-5~20.04_amd64.deb  ...
正在解压 python3.9-dev (3.9.0-5~20.04) ...
正在设置 libpython3.9:amd64 (3.9.0-5~20.04) ...
正在设置 libexpat1-dev:amd64 (2.2.9-1build1) ...
正在设置 zlib1g-dev:amd64 (1:1.2.11.dfsg-2ubuntu1.2) ...
正在设置 libpython3.9-dev:amd64 (3.9.0-5~20.04) ...
正在设置 python3.9-dev (3.9.0-5~20.04) ...
正在处理用于 man-db (2.9.1-1) 的触发器 ...
正在处理用于 libc-bin (2.31-0ubuntu9.2) 的触发器 ...

安装完成后,如果在当前命令行下运行python3.9,是可以看到一个python专属的命令行界面的,可以通过exit()退出。但是我们这里侧重的是跟C++的配合工作,因此我们更加关注lib和include目录下是否有生成相关的目录,可以执行如下指令进行查看:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ ll /usr/lib/ | grep python
drwxr-xr-x  26 root root   20480 5月   7 16:27 python2.7/
drwxr-xr-x   3 root root    4096 2月  10 02:47 python3/
drwxr-xr-x  30 root root   20480 5月   7 16:30 python3.8/
drwxr-xr-x  31 root root   12288 5月  20 16:31 python3.9/

这里我们看到有一个3.9的版本,也就是我们刚才安装的版本,再看看include下的目录:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ ll /usr/include/ | grep python
drwxr-xr-x  2 root root   4096 5月   7 16:31 python3.8/
drwxr-xr-x  4 root root   4096 5月  20 16:31 python3.9/

这里我们就可以看到一些区别了,有一些版本的python不一定会有这两个目录,但是只有具备了这两个目录,才能够被C++调用。

VS Code配置

这里我们使用的IDE是VS Code,但是上述提到的几个路径,在VS Code中默认是不被包含的,因此在代码编辑的过程中在include <Python.h>这一步就会报错了。这一章节的目的主要是解决IDE中的报错问题,还不是最终运行中出现的问题,因为运行时我是通过命令行执行g++来运行的,而不是直接用IDE来跑。首先在VS Code界面上按顺序同时按住:ctrl+shift+P,在弹出的窗口中输入C/C++ Edit Configurations(JSON)查找相关JSON配置文件,在列表中点击后会自动在VS Code中打开这个配置文件:

{
    "configurations": [
        {
            "name": "Linux",
            "includePath": [
                "${workspaceFolder}/**"
            ],
            "defines": [],
            "compilerPath": "/usr/bin/gcc",
            "cStandard": "gnu17",
            "cppStandard": "c++11",
            "intelliSenseMode": "linux-gcc-x64"
        }
    ],
    "version": 4
}

我们所需要做的工作就是,在这个includePath中把相关的路径都加上,比如我这边添加的路径是以下3个:

{
    "configurations": [
        {
            "name": "Linux",
            "includePath": [
                "${workspaceFolder}/**",
                "/usr/include/python3.9/",
                "/usr/lib/python3.9/",
                "/usr/include/python3.9/cpython/"
            ],
            "defines": [],
            "compilerPath": "/usr/bin/gcc",
            "cStandard": "gnu17",
            "cppStandard": "c++11",
            "intelliSenseMode": "linux-gcc-x64"
        }
    ],
    "version": 4
}

添加后,include <Python.h>就不会显示报错了。

Hello World测试

行业潜规则,我们先用C++来调用一个Python的打印函数,输出Hello World试试:

// cp.cpp
#include <Python.h>
int main(int argc, char *argv[]) {
  Py_Initialize();
  PyRun_SimpleString("print('hello world')\n");
  Py_Finalize();
  return 0;
}

这里需要注意的是一个运行方式,我们是用g++来进行编译的,但是g++默认是找不到我们刚才在IDE中所设定的几个includePath的,因此需要我们手动在编译的时候加上几个参数。这些参数其实也可以运行python3.9-config去一个一个查看,这里我们直接推荐一种可以运行成功的参数,其中最重要的是-I-l这两个路径一定要包含:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ g++ -o cpy cp.cpp -lm -std=c++11 -I/usr/include/python3.9/ -lpython3.9
dechin@ubuntu2004:~/projects/gitlab/dechin/$ ll
总用量 4697388
drwxrwxr-x 2 dechin dechin       4096 5月  20 17:10 ./
drwxrwxr-x 8 dechin dechin       4096 5月  19 15:32 ../
-rw-rw-r-- 1 dechin dechin        152 5月  20 17:04 cp.cpp
-rwxrwxr-x 1 dechin dechin      16776 5月  20 17:10 cpy*

运行完成后,就会在当前目录下生成一个刚才指定的名字cpy的一个可执行文件,如果是windows系统,则会生成一个cpy.exe的文件。让我们执行这个文件:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ ./cpy 
hello world

成功打印Hello World,又离成功更近了一步。

调用Python函数string.split()

在C++中如果我们想分割一个字符串,虽然说也是可以实现的,但是应该没有比Python中执行一个string.split()更加方便快捷的方案了,因此我们测试一个用C++调用Python的split函数的功能。

第一次尝试

一开始我们是写了这样一个简单的案例,用PyImport_ImportModule方法去调用pysplit这个python模块:

// cp.cpp
#include <Python.h>
#include <iostream>
using namespace std;
int main(int argc, char *argv[])
{
  Py_Initialize();
  if (!Py_IsInitialized())
	{
		cout << "Initialize failed!" << endl;
		return 0;
	}
  PyObject* pModule = NULL;
  PyObject* pFunc;
  PyRun_SimpleString("import os");
  PyRun_SimpleString("os.system('pwd')");
  pModule = PyImport_ImportModule("pysplit");
  if (pModule == NULL)
	{
		cout << "Module Not Found!" << endl;
	}
  // pFunc = PyObject_GetAttrString(pModule, "sp");
  // PyObject* args = Py_BuildValue("s", "Test String Hello Every One !");
  // PyObject* pRet = PyObject_CallObject(pFunc, args);
  string cList[10];
  // PyArg_Parse(pRet, "[items]", &cList);
  cout << "res:" << cList << endl;
  Py_Finalize();
  return 0;
}

对应的Python模块的内容为:

# pysplit.py

def sp(string):
    return string.split()

这是一个非常简单的函数,但是我们在调用的时候就直接返回了一个错误:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ g++ -o cpy cp.cpp -lm -std=c++11 -I/usr/include/python3.9/ -lpython3.9 && ./cpy
['pysplit.py', 'cpy', 'cp.cpp']
Module Not Found!
res:0x7ffc622ae900

这个错误是说,找不到pysplit这个模块。但是我们同时借助于PyRun_SimpleString调用了Python中的os库,执行了一个查看路径和当前路径下文件的功能,我们发现这个C++文件和需要引入的pysplit.py其实是在同一个路径下的,这就很奇怪了没有导入成功。

第二次尝试

经过一番的资料查询,最后发现,即使是在相同的路径下,也需要通过Python的sys将当前目录添加到系统路径中,才能够识别到这个模块,同样也是使用PyRun_SimpleString的函数:

// cp.cpp
#include <Python.h>
#include <iostream>
using namespace std;
int main(int argc, char *argv[])
{
  Py_Initialize();
  if (!Py_IsInitialized())
	{
		cout << "Initialize failed!" << endl;
		return 0;
	}
  PyObject* pModule = NULL;
  PyObject* pFunc;
  PyRun_SimpleString("import sys");
  PyRun_SimpleString("sys.path.append('./')");
  pModule = PyImport_ImportModule("pysplit");
  if (pModule == NULL)
	{
		cout << "Module Not Found!" << endl;
	}
  pFunc = PyObject_GetAttrString(pModule, "sp");
  PyObject* args = Py_BuildValue("s", "Test String Hello Every One !");
  PyObject* pRet = PyObject_CallObject(pFunc, args);
  string cList[10];
  // PyArg_Parse(pRet, "[items]", &cList);
  cout << "res:" << cList << endl;
  Py_Finalize();
  return 0;
}

但是执行后,又出现了一个新的问题,说输入格式必须要是一个tuple格式的:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ g++ -o cpy cp.cpp -lm -std=c++11 -I/usr/include/python3.9/ -lpython3.9 && ./cpy
res:0x7ffe94beb320
TypeError: argument list must be a tuple

这个也可以理解,Python中的函数调用,输入参数都被打包成了一个tuple格式,比如**args,而类似**kwargs则是打包成一个字典格式,类似的功能在这篇博客中有所介绍。

第三次尝试

上面的问题,在StackOverFlow上有一个类似的情况,有一个回答解决了这个问题,解决方案是,用PyObject_CallFunctionObjArgs来替代PyObject_CallObject去实现函数调用命令,相关代码如下:

// cp.cpp
#include <Python.h>
#include <iostream>
using namespace std;
int main(int argc, char *argv[])
{
  Py_Initialize();
  if (!Py_IsInitialized())
	{
		cout << "Initialize failed!" << endl;
		return 0;
	}
  PyObject* pModule = NULL;
  PyObject* pFunc;
  PyRun_SimpleString("import sys");
  PyRun_SimpleString("sys.path.append('./')");
  pModule = PyImport_ImportModule("pysplit");
  if (pModule == NULL)
	{
		cout << "Module Not Found!" << endl;
	}
  pFunc = PyObject_GetAttrString(pModule, "sp");
  PyObject* args = Py_BuildValue("s", "Test String Hello Every One !");
  PyObject* pRet = PyObject_CallFunctionObjArgs(pFunc, args, NULL);
  int size = PyList_Size(pRet);
  cout << "List size is: " << size << endl;
  for(int i=0;i<size;i++)
  {
    PyObject* cRet = PyList_GET_ITEM(pRet, i);
    char* s;
    PyArg_Parse(cRet, "s", &s);
    cout << "The " << i << "th term is: " << s << endl;
  }
  Py_Finalize();
  return 0;
}

最后,因为从Python中获取的是一个List格式的数据,因此我们首先需要用PyList_GET_ITEM去逐项提取,然后用PyArg_Parse将提取出来的元素保存到一个C++的char字符串中,执行结果如下:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ g++ -o cpy cp.cpp -lm -std=c++11 -I/usr/include/python3.9/ -lpython3.9 && ./cpy
List size is: 6
The 0th term is: Test
The 1th term is: String
The 2th term is: Hello
The 3th term is: Every
The 4th term is: One
The 5th term is: !

Yes!终于成功了!

总结概要

本文介绍了一个在C++内部调用Python中封装的函数或者接口的方法,从环境配置到具体示例都有讲解,并且在其中包含有不少的坑点,需要一步一步去踩。不同的编程语言具有不同的优势,Python轮子众多而语法简单,上手容易,但是性能比较首先,C++的最明显优势就是在于其性能的天然优越性。但是我们不需要对哪一种编程语言有所偏倚,都有所掌握,并且能够有所互通,利用好各自的优势,才能够发挥最大的价值。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/cppio.html 作者ID:DechinPhy 更多原著文章请参考:https://www.cnblogs.com/dechinphy/ 打赏专用链接:https://www.cnblogs.com/dechinphy/gallery/image/379634.html 腾讯云专栏同步:https://cloud.tencent.com/developer/column/91958

参考链接

  1. https://zhuanlan.zhihu.com/p/271219435
  2. https://zhuanlan.zhihu.com/p/79896193
  3. https://blog.csdn.net/ppCuda/article/details/91049765
  4. https://stackoverflow.com/questions/60487083/passing-array-tuple-from-python-back-to-c

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • C#中调用python

    为了记录自己的学习成果,防止遗忘,同时为了帮助在C#学习过程中遇到同样问题的同志们,所以将原版代码奉上!!!

    zls365
  • 在 Node 中调用 Python

    在 Node 中如何调用 Python 的方法?通常可以通过 REST 接口或者 RPC 的方式来完成,但是某些时候我们仅仅只需要调用对方几个很简单的方法,这种...

    凌虚
  • 在Java中调用Python

    在微服务架构大行其道的今天,对于将程序进行嵌套调用的做法其实并不可取,甚至显得有些愚蠢。当然,之所以要面对这个问题,或许是因为一些历史原因,或者仅仅是为了简单。...

    编程随笔
  • C++调用Python

    Python作为一门流行通用的脚本语言,可以很好的和C/C++程序结合在一起。 在一个C/C++应用程序中,我们可以用一组插件来实现一些具有统一接口的功能,一般...

    chain
  • Python调用C

    文章作者:Tyan 博客:noahsnail.com | CSDN | 简书

    Tyan
  • 在 C# 中调用 MySQL 存储过程

    这段代码演示在 C# 程序中调用 MySQL 的存储过程,没有返回值,没有参数传递。

    用户7166745
  • 29.qt quick-在QML中调用C++类

    Qt QML模块提供了一组API,用来将C++类扩展QML中。您可以编写扩展来添加自己的QML类型,扩展现有的Qt类型,或调用无法从普通QML代码访问的C/C+...

    张诺谦
  • 如何在Fortran中调用Python

    Python是机器学习领域不断增长的通用语言。拥有一些非常棒的工具包,比如scikit-learn,tensorflow和pytorch。气候模式通常是使用Fo...

    bugsuse
  • python调用C库

       将c文件生成动态库:gcc test.c -fPIC -shared -o libtest.so

    py3study
  • C语言中调用C++

    程序手艺人
  • 【Python】如何在VBA中调用Pyt

    py3study
  • Python调用C++代码

    今天在研究PyTorch中Tensor的一些操作的时候,发现其底层Tensor的操作都是用C++写的,并使用pybind11进行C++和Python的桥接。所以...

    卡尔曼和玻尔兹曼谁曼
  • python笔记:python调用C库

    在python中实现算法性能较差,所以在某些瓶颈处,可以把算法用C语言的实现。编译成动态链接库,再让python调用。

    超级大猪
  • Python调用Linux c库:cty

       我在http://jlnsqt.blog.51cto.com/2212965/1405052这篇博客中讲述了匹配URL的一个算法,因项目需要将其封装为动...

    py3study
  • Python 调用c#的dll pyth

    2.安装pythonnet 在python的安装路径 Python\Python36-32\Lib\site-packages\pip   下执行 pip in...

    py3study
  • C#中方法的调用

    * 类型需要一致,double--float,子类可以替换父类(反例) * 数量需要一致,params,还可以有默认值(反例) * 顺序需要一致 ,可以使用“参...

    zls365
  • 如何在 Python 中使用断点调试

    实际上没人能一次就写出完美的代码,除了我。但是世界上只有一个我。 -- 林纳斯·托瓦兹(Linux 之父) 既然不是神,写代码自然免不了要修改。修改代码的过程被...

    Crossin先生
  • python 调用c语言详解

    python语言调用c语言进行扩展,或者增加程序的运行速度都是特别方便的。同时还能获得与C或者C++几乎相同的执行性能。

    黑白格
  • 在Android中调用WebService

    某些情况下我们可能需要与Mysql或者Oracle数据库进行数据交互,有些朋友的第一反应就是直接在Android中加载驱动然后进行数据的增删改查。我个人不推荐这...

    欢醉

扫码关注云+社区

领取腾讯云代金券