Opera让用户可下载并在本机执行、测试LLM

Opera宣布一项新功能，让用户可将大型语言模型（Large Language Model，LLM）下载到本机端执行或测试，不需再连上服务器端。

大多数情况下，使用LLM必须将数据送到服务器。本机端LLM则让用户可以直接在机器上处理提示，不需数据离开计算机。

在AI功能添加（Feature Drop）方案中，Opera实验支持将近50系列、共150款本机端LLM，允许用户通过自家浏览器下载。该公司表示这也是首个以内置功能支持并管理LLM的主要浏览器。

Opera支持本地端执行的模型，涵盖Meta的Llama、Vicuna、Google的Gemma from Google及Mistral AI的Mixtral等。

新功能目前以测试版形式发布给Opera One开发人员。Opera One是这家浏览器企业去年6月推出的AI浏览器，集成原生AI技术的浏览器，目前集成该公司自己的AI助理Aria Chat。

今天起，开发人员可以下载Opera One开发人员版测试在本机上使用所支持的LLM及Opera实验性AI功能。Opera希望借这波测试探索可能的应用场景，像是浏览器是否可根据用户和AI助理的对话记录提供服务，又能保留用户设备上所有数据。

欲试用者，需先升级到最新版Opera。之后，由侧边工具栏上打开Aria Chat，在聊天界面上方点击“选择本机模式”的下拉式菜单后，从“进入设置”选择欲下载的模型。完成下载后按左上方的菜单，启动新对话。接着再次从“选择本机模式”中选择刚下载的模型，就能让AI助理套用新模型，用于应答。

Opera提醒，下载LLM需要本机有2GB到10GB的存储空间，而且视用户机器硬件规格而定，在本机上执行LLM的性能会比服务器端版本来得慢很多。此外，本机端LLM不会使用Opera的Aria，直到用户以Aria启动新对话，或是直接换成Aria。Opera也提醒不要安装在运营用的机器上。