联发科与Meta就开源大语言模型Llama 2开展密切合作

美通社消息，联发科宣布正在与Meta的下一代开源大语言模型Llama 2开展密切合作。利用Meta的LLM以及联发科最新的APU和NeuroPilot AI平台，联发科旨在构建一个完整的边缘计算生态系统，加速智能手机、物联网、汽车、智能家居和其他边缘设备上的人工智能应用开发。

目前，大多数生成式人工智能处理是通过云计算执行的，然而，联发科使用的Llama 2模型也将使生成式人工智能应用程序直接在设备上运行。这样做为开发人员和用户提供了许多优势，包括无缝性能、更高的隐私性、更好的安全性和可靠性、更低的延迟、在几乎没有连接的区域工作的能力，以及更低的运营成本。

为了真正利用设备上的生成式人工智能技术，边缘设备制造商将需要采用高计算能力、低功耗的人工智能处理器和更快、更可靠的连接来增强计算能力。联发科技目前出货的每款5G智能手机SoC都配备了APU，可以执行各种生成型AI功能，如AI降噪、AI超分辨率、AI MEMC等等。

此外，联发科的下一代旗舰芯片组将于今年晚些时候推出，将采用针对Llama 2进行优化的软件堆栈，以及升级后的APU，该APU具备Transformer骨干加速功能，减少了内存占用和DRAM带宽的使用，进一步提高了LLM和AIGC性能。这些进步加快了为设备上生成式人工智能构建用例的速度。

联发科预计，基于Llama 2的人工智能应用程序将可用于搭载下一代旗舰SoC的智能手机，计划于今年年底上市。