今天我们来把预测搬到C++上,模拟一下模型的部署。...对于C++版本模型预测服务,只需要按部就班完成如下三步即可:完成C++版本的中文切词,并向量化的过程使用ONNX Runtime的C++ API,完成模型的推理预测过程编写一个简单的bRPC服务,把前面两步集成进去即可.../b2 headers # 生成一个boost目录,可以复制到其他地方,都是header-only的库utf8proc这是一个处理UTF-8字符的C语言库,在Github上:https://github.com...比如数学意义上的一个2维矩阵:[[1,2,3],[4,5,6]],在这里只需要传入{1,2,3,4,5,6} 然后通过shape参数:{2, 3}表示这是2*3的矩阵。...所以可以这样表示这个shape:std::vectorint64_t> shape = {1, 32};shape.data()即可以获得一个int64_t*的指针,因为我们这里维度是固定的,所以直接用