首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

升级 | 开源大模型API服务和托管功能上线,GLM4-9B及Yi-1.5-9B模型免费调用

至此,wisemodel社区已经完全具备了开源大模型在线推理服务的全部功能和能力,期待各类大模型应用开发合作伙伴来wisemodel社区在线部署模型服务,或将自己微调的大模型API服务托管到wisemodel社区API服务板块。此外,欢迎各类算力供应合作伙伴一起合作,特别是愿意提供算力资源联合运营的伙伴,为wisemodel社区用户提供算力支撑。

为感谢社区用户对wisemodel社区的持续支持,GLM4-9B-ChatYi-1.5-9B-Chat两个模型即日起1个月内免费调用,欢迎大家尝试和体验。如果使用过程中遇到任何问题也可以随时联系社区运营助手wisemodel。由于算力限制暂时只能直接在线部署20B以下的模型,若需要部署更大模型的模型可以先联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。

后续我们将继续支持多模态模型、文生图等更多类型的模型以及RAG和Agent服务等,不久之后将进一步上线开源大模型的在线微调功能和GPU算力灵活调用等能力,欢迎大家继续关注wisemodel的持续更新动态。欢迎更多的志愿者《加入wisemodel开源共创计划》,一起共建中立、开放的AI开源社区平台,一起践行让AI更简单的使命。

1、API服务入口

“API服务”子板块

2、API服务详情

从API服务板块点击进入运行中的API服务项目时,可以进入API服务详情页面,在详情页面的左侧可以直接进行在线体验,右侧则是API服务的调用说明文档,根据右侧的API服务调用说明,获取API key之后即可在自己的应用中应用wisemodel上的API服务。

API服务详情

API调用时请先点击“获取API Key”按钮,或者从“用户中心-token与key”处获取API调用时的key,如果还没有API key的可以直接点击“添加新的API Key”。

API Key获取及创建

3、API服务创建

在wisemodel社区进行API服务创建,只需两步即可完成,无需任何代码开发,任何人都可以在线创建专属的API服务

在“应用”模块页面的“新建API服务”按钮,以及“可在线体验模型”的模型详情页面的“在线部署-API部署”按钮

“新建API服务”按钮

“在线部署-API部署”按钮

点击“新建API服务”或“在线部署-API部署”按钮之后,弹出API部署的窗口,第一步是填写基础信息,选择需要部署的模型镜像,设置配置的类型,选择硬件配置,填写中英文名称,选择好类型和发布者,并设置公开/私有的属性(私有API服务创建成功之后,前往“用户中心-我的资源-API服务”获取),然后直接点击“下一步”进入确认订单环节。

基础信息环节

确认订单环节

API服务启动中

点击提交订单之后提示创建成功,并跳转到了API服务板块页面,刚创建的API服务会是启动中的状态,通常启动中会持续1分钟左右,启动后状态自动调整为运行中,此时就可以点击进入API服务详情页面,可以开始调用API服务了。

4、API服务调用

API调用参考API服务详情页右侧的调用示例代码,平台上给出了Python和Node的调用示例,以及openAI兼容模式的调用示例代码。其他语言的调用也类似,可以参与已有的示例代码,若遇到什么问题可以联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。

5、API服务停止

6、应用开发合作伙伴

各类基于开源大模型进行应用开发的合作伙伴,欢迎直接来wisemodel上在线部署API服务。基于常见开源大模型微调之后的领域模型(非开源),也可以私有模型和私有API服务的方式托管在wisemodel平台上,降低模型部署和运维方面的成本。非开源模型的部署需求,请先联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。

7、算力供应合作伙伴

wisemodel社区始终坚持“中立、开放、共建、共创、合作”五项基本原则,我们希望跟各类合作伙伴共同建设和打造AI开源社区。欢迎更多科研院所、企业等从事开源工作的朋友,将开源的模型、代码、和数据集等开源成果都发布到wisemodel社区。欢迎扫码持续关注wisemodel社区发展:

扫码持续关注

-----    END   -----

wisemodel相关

系统升级

关于wisemodel更多

1

欢迎持续关注和支持

2

欢迎加盟wisemodel开源社区

3

欢迎投稿优质内容

4

关于wisemodel开源社区

向上滑动查看

更多

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OH48NiEDyjD1l1hUPmucLW4Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券