首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

把 125B 跑在本地后,我用一只鹈鹕测了测

陈文茂

重庆云芽科技有限公司 | 高级人工智能开发经理 (已认证)

最近把 Qwen3.8-Flash-Next 125B MoE 用 Strata 跑在了本地工作站上,量化档是 IQ3_S,服务开在 8788。对我来说,跑通只...

000

消费级显卡也能跑稀疏大模型:开源引擎 Strata

陈文茂

重庆云芽科技有限公司 | 高级人工智能开发经理 (已认证)

稀疏大模型不是服务器专属。开源引擎 Strata 把 MoE 专家拆开,让 12GB 级别的消费级显卡也能本地跑出可用的生产级能力。

100

深度实测Gemini 4 Hydrogen:快到飞起、比GPT省4倍Token,谷歌最能打的主力来了

用户4447475

前两天 Carbon 出来的时候,我说可以彻底替代 Claude 了(毕竟被封号后我也不能用)。

100

用完 Carbon 再切 Hydrogen:谷歌这次总算回归正常了

用户4447475

Carbon 质量没得说,但脾气太折磨人:一句话丢过去,低头闷干半小时,连个泡都不冒。

200

同一个会话中途换模型,上下文还在吗、会多扣额度吗?2026 年 9 月机制与代价

用户12788090

能切,上下文还在,但每次切换会作废当前会话的缓存、消耗更多额度。结论成立的条件是:你用的客户端支持会话内切换模型(Claude Code 的 /model 命令...

3800

基于大模型的企业知识管理与问答系统构建

YBBE上海拔俗网络

企业内部拥有大量文档、规章制度、技术资料和项目经验,但传统知识管理方式依赖人工打标签和关键词搜索,导致检索效率低、结果不准确,大量隐性知识难以沉淀。随着AI大模...

2400

云边端协同:基于大模型与离线ASR的混合云呼叫中心架构演进

用户12767428

传统呼叫中心向智能化升级时,常受困于老旧硬件接入难、大模型响应延迟高、业务数据合规要求严等痛点。本文结合承德热力二期项目实战,拆解如何通过“1E1中继网关+离线...

2500

大模型服务协议模板拆解:备案材料里的「隐形门槛」到底怎么过?

用户12810243

在搜索引擎里输入「大模型服务协议」,能下到几十份模板。打开一看,排版精致、条款齐全,从定义条款到争议解决一应俱全。

3200

vLLM CPU offload 部署前,怎样同时筛主机内存和 GPU 显存?

AI 小笔记

开启 vLLM 的 CPU offload 后,部分模型权重可以放到主机内存中,减轻 GPU 显存压力。但显存需求下降,不等于整台实例的内存就足够:主机内存和单...

1900

一天用掉一半额度,我才发现 Gemini Carbon 有这些坑|附官方指南

用户4447475

昨天,Gemini Carbon 正式上线,我立马去冲了个 100 美金的 Ultra。

4300

语料标注规则被追问时怎么答:现场解释比承认缺口更危险

AI备案指南当当

结论:答辩的关键不在规则多完整,在于答不上来时怎么答。正确的答法是承认缺口并给出补齐路径,而不是当场编一个解释。

5000

OLink怎么注册?新手从注册到第一次调用成功几步走?

产品爱好者

第一次想给手头的工具接上大模型,多数人卡住的地方其实不是技术,而是流程:账号在哪注册?密钥怎么生成?接入地址填什么?好消息是,各平台的接入套路都高度相似,核心就...

6510

超级App的商业护城河:AI Agent在手机端碰壁,企业信息在AI端失声

盘龙石科技

过去两年,手机AI Agent的叙事主线一直围绕着“端侧算力”。但随着旗舰芯片NPU算力密度的大幅提升,多模态模型对屏幕的浅层语义解析已经不再是技术瓶颈。真正的...

5510

DravenAI:服务器赢了,桌面端没赢:从Wintel生态壁垒看大模型RAG的语料困境

盘龙石科技

2026年的信创产业正在经历一轮深度的结构性换挡。当政策逻辑从“补短板、筑底线”全面转向“自主引领、全行业渗透”,两组宏观数据呈现出强烈的反差:服务器端,ope...

7110
领券