百度发布全新端侧推理引擎 Paddle Lite

随着技术进步，手机等移动设备已成为非常重要的本地深度学习载体，然而日趋异构化的硬件平台和复杂的终端侧的使用状况，让端侧推理引擎的架构能力颇受挑战。端侧模型的推理往往面临着算力和内存的限制，为了能够完整的支持众多的硬件架构，并且实现在这些硬件之上人工智能应用性能的性能优化，百度飞桨基于 Paddle Mobile 预测库，融合 Anakin 等多个相关项目的技术优势，发布端侧推理引擎 Paddle Lite，通过建模底层计算模式，加强了多种硬件、量化方法、Data Layout 混合调度执行的能力，从而保障了宏观硬件的支持能力。