操作场景
本文介绍如何在服务器上安装 TACO Infer。TACO Infer 的安装包包括 Python Wheel 包和推理 SDK 包两个部分。Python Wheel 包用于在具有目标加速芯片的机器环境中对模型进行优化，SDK 则用于 C++开发模型推理部署。
使用环境要求
具体项 | 说明 |
操作系统 | TACO Infer 针对 CentOS 7.9进行了全面的测试，建议您优先选用 CentOS 7.9进行 TACO Infer 的使用和部署。目前仅支持 Linux 操作系统，如使用其他版本 Linux 操作系统遇到问题，欢迎联系我们获取支持。 |
计算设备 | TACO Infer 目前开放测试的版本支持 Intel/AMD 系列的 CPU 和 NVIDIA 系列的 GPU 优化，后续会支持更多优化目标硬件，请您关注产品动态。推荐适配的腾讯云机型如下： CPU机型 云服务器 CVM：标准型 S6，SA3 等。更多实例信息请参见 云服务器实例规格。 裸金属服务器：高 IO 型 BMI5，标准型 BMSA2 等。更多实例信息请参见 裸金属服务器实例规格。 GPU机型 云服务器 CVM：计算型 GT4, 计算型 PNV4, 计算型 GN10Xp 等。更多实例信息请参见 GPU计算型实例。 高性能计算集群：GPU 型 HCCPNV4h，GPU 型 HCCG5v 等。更多实例信息请参见 高性能计算集群实例规格。 |
ABI 版本 | TACO Infer 支持 CXX11 ABI。 |
Python 版本 | TACO Infer 支持 Python 3.6 及以上版本，建议您安装支持版本的 Python环境。 |
框架版本 | TACO Infer支持TensorFlow、Pytorch、Onnx模型优化。我们主要支持的框架版本有: Tensorflow：1.14, 1.15, 2.4, 2.6 Pytorch：1.6, 1.7, 1.8, 1.9, 1.10, 1.11, 1.12 Onnx：1.10 |
操作步骤
安装深度学习框架
使用 TACO Infer 时，需要您的 Python 运行环境中已安装深度学习框架。以 Tensorflow 1.14 为例：
pip install tensorflow==1.14
注意：
TACO Infer 不代替您安装深度学习框架。使用 TACO Infer 时，请确保您的 Python 运行环境中已安装（pip install）相应的深度学习框架(Tensorflow/Pytorch)。TACO Infer会自动适配您所选择的深度学习框架版本。
依赖安装
Taco Infer 依赖 libcurl、openssl、libuuid。您可以通过以下命令检查是否已经安装这些组件：
yum list installed | grep ${package}
若未安装，请通过以下命令安装。
libcurl
yum install libcurl-devel
openssl
yum install openssl-devel
libuuid
yum install libuuid-devel
获取 Wheel 包及 SDK 包
安装 Wheel 包
通过 pip 命令，即可安装 Taco python 包：
pip install ${path/to/wheel_package}
获取 SDK 包
建议将解压后的库文件拷贝到
/usr/local/lib 下，以便 ld 程序能够找到 Taco 动态链接库进行链接。对于 CPU 设备，SDK包中存在以下文件:
libtaco_tf.so
libtidy_ops.so
libomp-1fdec59b.so
tidy_vm
对于 GPU 设备，SDK包中存在以下文件：
libtidy_runtime.so
libtacaudio_ops.so
lib_tactorch.so
libnvinfer.so
libnvinfer_plugin.so
libnvonnxparser.so
libnvparsers.so
libnvinfer_builder_resource.so.8.5.1
SDK包中所包含的文件会随您选择的深度学习框架版本和硬件设备有所区别，实际包含内容以发布的SDK包为准。