介绍
终端 SDK 是腾讯云推出的音视频终端产品能力，包括视频编码、音频增强、视频增强3类功能 SDK，面向不同客户场景需求提供针对性的产品能力，支持移动端、Web 端、PC 端等多终端接入。
注意：
终端 SDK 为线下交付产品，SDK 包体和 API 内容请联系您的腾讯云商务和架构师。
终端视频编码 SDK
腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
1. 稳定可靠，启动快。
2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
3. 同等码率下提升画质，提升用户体验。
4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。
终端音频 SDK
客户端音频SDK提供音频编码和音频增强能力，实现包括自适应噪声抑制、声学回声消除以及自动增益控制等效果，可以显著提升音频质量、消除回声及噪声。
终端增强 SDK
客户端增强 SDK，基于高效的图像处理算法和AI模型推理能力，实现终端视频超分辨率、画质增强、插帧等功能。
极速高清终端视频编码 SDK
产品简介
和云点播、直播编码相比，端测编码需要采用不同的编码解决方案。
编码模式 | 云点播 | 云直播 | 端测编码 |
典型业务 | 腾讯视频、视频号等行业主流点播业务 | 视频号直播、腾讯体育直播等行业主流直播业务 | 腾讯会议、微信视频通话和5G远控等业务 |
延迟要求 | 追求极限压缩率，无延迟要求 | 追求高压缩率，允许秒级延迟 | 追求高压缩率同时要求零延迟 |
实时性要求 | 追求极限压缩率，无实时要求 | 允许多线程下多帧平均实时 | 要求单线程下编码实时 |
网络条件约束 | 编码过程与网络状态无关，编码配置固定 | 编码过程与网络状态无关，编码配置固定 | 编码过程与网络强相关，需要随网络状态动态调整编码配置 |
场景特点 | 1 -> N，无交互 | 1 -> N，无交互 | N < - > N，强交互 |
解决方案 | 服务端编码 | 服务端编码 | 终端编码 |
腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
1. 稳定可靠，启动快。
2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
3. 同等码率下提升画质，提升用户体验。
4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。
SDK 接入流程
1. 评估试用：客户提供系统平台和需求信息，申请产品体验。
系统平台：Android、iOS、Windows、macOS 等。
使用场景：直播、点播。
编码规格：编码格式、分辨率、帧率、码率、延迟要求等。
优化目标：码率节省、画质提升、CPU 节省以及相应的衡量指标（PSNR、SSIM、VMAF 等）
2. 开发集成：集成测试版 SDK 到 App，效果评测和定制优化。
根据客户效果评测结果和具体业务场景需求，提供深度优化支持。
3. 上线发布：申请 License，集成带 License 授权的正式版 SDK，测试和上线发布 App。
License 临期或过期后，可再次申请 License 续期。
SDK 集成
视频编码 SDK 为 C/C++/汇编实现，为各系统平台提供统一的 C 接口。
Android
● 提供 armv7、armv8 版本动态库，应用程序通过 NDK 方式集成。
● 提供 Java 接口封装，接口与 Android 硬件编码 MediaCodec 基本一致，方便平行替换 MediaCodec。
iOS
提供 armv8、x86_64 版本 xcframework。
macOS
提供 armv8、x86_64 版本 framework。
Windows
提供 x86、x86_64 版本动态库。
视频编码基本流程
极速高清终端音频 SDK
产品介绍
客户端音频 SDK 提供音频编码和音频增强能力，可以显著提升音频质量、消除回声及噪声。
各版本具体功能详情如下：
功能点 | 标准版 | 专业版 | 旗舰版 |
声学回声消除 | 支持 | 支持 | 支持 |
自动增益控制 | 支持 | 支持 | 支持 |
自适应噪声抑制 | 支持 | 支持 | 支持 |
回声消除音乐模式 | - | 支持 | 支持 |
音量均衡 | - | 支持 | 支持 |
AI智能降噪 | - | 支持 | 支持 |
音频编码 | - | - | 支持 |
AI Codec | - | - | 支持 |
实时通信音频 3A
音频3A技术是声音信号处理中的一组基础功能，常用于实时通信系统，如视频会议、通话、直播连麦等，以保障音频信号的高质量传输，提供更好的通信质量和音频听觉体验。3A分别代表自适应噪声抑制（Adaptive noise supperssion, ANS）、声学回声消除（Acoustic echo cancellation, AEC）以及自动增益控制（Automatic gain control）。
自适应噪声抑制（Adaptive noise supperssion, ANS）
ANS 主要功能是消除语音信号中的背景噪声成分、降低干扰，以提高语音可懂度和感知质量。基于加性噪声模型假设，麦克风采集到的音频信号可以看成是纯净语音信号和噪声干扰的叠加，通过对音频非语音段进行噪声跟踪估计，然后在语音段减去噪声成分能量，可以得到更清晰的语音信号。
声学回声消除（Acoustic echo cancellation, AEC）
AEC 主要解决音频通信过程中的回声问题。在通话过程中，扬声器播放的声音直接或者经过反射被麦克风采集，导致远端用户听到自己说话的声音，这会严重干扰通话质量。而AEC技术能根据远端参考信号对近端信号进行处理，有效消除或者降低这种回声现象，提升通话体验。
自动增益控制（Automatic gain control, AGC）
AGC 主要负责在音频信号传输过程中调整音量大小。当声源音量过低或者过高时，会显著影响通话体验，而AGC能够自动识别音频流响度，动态调节音量水平，使其始终保持在一个舒适的范围之内。AGC能够缓解由录音设备采集差异、说话人音量大小、距离远近等因素引起的音量不稳定问题。
使用场景
SDK 可以应用在推流上行音频编码预处理和拉流下行音频解码后处理，提升音质。目前支持 Android、iOS、Windows 和 macOS 客户端。
线上教学场景：消除噪声和回声，提升教学过程中声音的清晰度。
游戏内语音场景：音量均衡，将大小声做均衡处理，提升玩家听感和游戏体验。
直播场景：主播声音去噪和语音增益控制，在语聊、歌房等场景提升整体的直播质量。
SDK API 调用流程
极速高清终端增强 SDK
产品介绍
客户端增强 SDK，基于高效的图像处理算法和 AI 模型推理能力，实现终端视频超分辨率、画质增强等功能。
各版本具体功能详情如下：
功能点 | 标准版 | 专业版 |
标准画质增强 | 支持 | 支持 |
标准超分辨率 | 支持 | 支持 |
标准超分辨率 + 色彩优化 | 支持 | 支持 |
专业画质增强 | - | 支持 |
专业超分辨率 | - | 支持 |
专业超分辨率 + 色彩优化 | - | 支持 |
版本选择建议
标准版：适用于性能敏感型设备，满足基础画质提升需求。
专业版：为中高端设备设计，通过深度学习模型实现高画质体验。
使用场景
1. 终端播放质量增强
通过实时超分与画质增强技术，将480P/720P视频提升至1080P显示效果，适配高分辨率移动设备屏幕，改善流媒体播放清晰度与流畅度体验。
2. 带宽成本优化
在云游戏、直播推流等场景中，通过端侧超分技术实现"低码率传输+高清晰度呈现"的解决方案。实际测试表明，传输720P(5.6Mbps)视频经端侧超分至1080P，视觉效果接近原生1080P(8.2Mbps)流，带宽节省达30%。
3. 多源视频标准化处理
在视频编辑、多画面合成等场景中，通过智能超分统一不同分辨率素材，避免传统插值算法导致的边缘模糊问题，保证合成视频的视觉一致性。
产品优势
类目 | 说明 |
性能 | 场景广泛：能处理各种分辨率、适用各种场景。 高效处理：标准版算法在2016年千元机上处理720P超分1.5倍至1080P平均每帧耗时为1ms以内；专业版算法在2020年千元机上处理540P超分2倍至1080P平均帧耗时为20ms，720P超分1.5倍平均帧耗时为29ms。 使用灵活：具备根据设备性能自适应选择算法的能力，在清晰播放的同时拒绝卡顿。 |
兼容性 | 支持市面上绝大多数 Android 与 iOS 主流机型。 |
SDK 集成
兼容性
版本 | Android要求 | iOS要求 |
标准版 | ≥5.0（OpenGL ES 3.1+） | ≥12 |
专业版 | ≥5.0（OpenCL 1.2+） | ≥16 |
包大小
平台 | 标准版 | 专业版 |
Android（单架构） | 0.3MB | 2.1MB |
iOS（真机） | 0.8MB | 2.5MB |
接入指引
终端 SDK Demo 体验
用 Android 手机浏览器打开，下载安装。
系统 | 二维码 | 链接 |
Android |  |
进入后可选择需要体验的 SDK 功能。
终端视频编码 SDK
体验终端视频编码 SDK，可以选择示例视频进行查看，也可选择本地视频。支持对视频重新设置参数，对比不同参数下的效果。
终端音频 SDK
体验终端音频 SDK，可以选择示例音频进行查看，也可选择本地音频进行处理。支持测试自动增益控制、自适应噪声抑制、AI 降噪、音量均衡、音频增强。
终端增强 SDK
体验终端增强 SDK，可以选择示例视频进行查看，也可选择本地视频。支持对视频重新设置参数，可选择多种视频超分算法进行效果对比。
