用腾讯云HAI和vllm快速部署腾讯混元7B模型原创

大家好，我是小杨，今天我来教大家如何用腾讯云AI，也就是高性能应用服务器。去部署腾讯会员刚开源的。这个7B的小模型。首先我们来看这个高性能应用服务的购买页面。我这里选的开发环境。拍特。然后计费模式是按量计费。当然。如果你。的钱比较多的情况下，可以选包年包月。第一，我选择上海。因为它支持学术加速能力。然后这里选的是GPU基础型中的。性能型。3.3元一小时，这个显存24个G，它是用的英美达的A10。

为什么要选这个性能型而不选进阶型呢？因为我肯定要选性价比高的嘛。进阶型。虽然显存要多一些，但是。它的性能还没有A10的好。云硬盘我这里选的130个G，免费80个G，但是因为我之前装过一次。发现最后用了80多个G，所以这里要给它延伸一下。然后费用就是云硬盘的费用，130个G的话，多出50个G，这里云硬盘的费用是一分钱一时。一天也就2角4嘛，这个可以接受的。OK, 那我们就点击购买。

购买成功之后，他就会给你跳到。这个算力管理这个页面，这里正在创建中呢。需要2~5分钟。在它创建的过程中，我们可以去这里点一个。加速。就是访问一些外网资源的时候需要加速。OK, 我们这里因为选的是上海，所以这里就是选择上海。再等他几分钟创建完成，然后。你会收到系统给了这个。密码。然后进去登录需要密码。在这个战略里面。

刚才已经去站内信里面把那个密码给复制。接下来我们就直接点算力连接。终端连接。那你需要输入密码。把刚才复制好的密码。OK, 输入成功了，成功了之后我们再。点击。不会切状态。

因为我们要用这个。等会儿要用到。就是写代码。OK, 这里重新连接成功之后，我们就开始我们今天正式的这个VLM。部署过程。首先我们要去升级我们的开拓版本。我们这里看一下。版本。Con list.我们这里看到是2.5.1+QDA124。我们要给它生成2.7.1+Q128。

我跟你说个命。拨打128。接下来就是一系列的下载、安装等待过程。等他把的版本升去吧。

网速好的情况下，几分钟就安装好了，我们这里看到已经安装好了。然后我们去写个代码验证一下。

我们这里写一个文件来验证一下，不打安装成功呗。如果你学过AI相关的。算法的话，其实这个步骤就是很简单的。就是import，然后去用。这些的一系列的API去看一下。

扩大版本和开拓版本是否匹配？这个终端和刚才那个终端是一样的。我们这里看到。他打印的结果是。拍特级版本2.7.1+Q128。是可用的true。扩大版本12.8。因为只有一个GPU。GPU的名称是A10，只有一个GPU，所以设备是0。OK, 没有问题。这就说明拓版本与大版本是匹配的，我们可以进行下一个步骤。

紧接着我们要装。VLLN.这个过程也要等。如果网速好，可能。十几分钟之内吧。OK, 我们等他安装完毕了。因为今天的网速比较快，所以好像3分钟这一堆就安装好了。网速比较快。这个要看网速。嗯。接下来就是代码的部分。我这里用的是腾讯云云原生平台上的这个代码，跟平台是一样的啊。大家可以去了解一下腾讯云云原生平台，这个非常不错的。

平时。我们现在就要装model scope.去魔丹里面要去下载的。先把代码这个。College.如果大家熟悉get的话，这个过程就比较简单了，就是把get那个可弄下来。OK come on.

我们这里要去把电给。不然之。把这里requirement这里面改一下。首先是这个transformers，它这里面的版本比较低啊。我们需要用一个更高的版本。就是他里面在里面写的一个。这个版本。因为是开发版。先装上。

OK, 这个装上之后。接下来就是。Accelerate.

不需要。认识。OK accelerate下好了。然后还剩一个flash，这里我们不需要去管它，这个flash我们不用去想。因为我试过好几次都没下来，但是这对VLLM并不影响。接下来就是。Model scope.

毛scope装好了，接下来就是下模型。因为今天网速比较快啊，半个小时之内前面部分就完成了，如果网速好的情况下。呃，下载模型应该只需要20多分吧，也是半个小时之内就能完成，所以总的时间，总的部署时间应该在一个小时之内。不出意料的情况下。OK, 开始下载模型了。

我们等他下载完成吧。OK, 这网速好啊，10分钟就把。10多个G的模型给下载好了。接下来我们就去这个编辑器里面。我们这里根据这个B里面的操作。然后把环境变量给设好。大家也可以去看一下啊。嗯。还在这里面。这是刚才我们下载好的。这几个模型模型文件。

这里设置环境变量。环境变量设好之后。接下来就是直接start。开始这个API。我们在这里新建了一个log server txt, 待会儿是这个服务器运行成功之后，它会把结果给写到这个TXT里面。

我们正在开始了，这里可能需要等2分钟啊。稍等2分钟。OK, 这里终于服务器启动了。这里我们看到服务器启动成功了，并且有一些open API的这个路径。我们要用这个VE chat applications.接下来我会用那个来测试一下我们这个。是否生效？