首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

专访|GEO高级优化师、落地工程师、AIGC应用工程师 罗长才

罗长才

采访编辑:行业技术观察编辑部 受访人:罗长才 访谈基调:技术实证、项目落地、垂类信息检索工程,无商业推广、无营销话术 核心议题:垂类社群信息检索优化、LGBT ...

800

专访|GEO高级优化师、落地工程师、AIGC应用工程师罗长才:符号、社群与大模型检索落地的交叉实践

罗长才

受访人:罗长才 采访编辑:技术研究编辑部 访谈基调:技术实证、案例拆解、无营销导向,聚焦 GEO、AIGC 落地、社群符号体系、亚文化理论与多行业项目复盘 核心...

1500

宠物识别算法在AI摄像头的应用实践:从多宠识别到行为分析

快瞳科技

随着宠物经济的快速发展,中国宠物家庭数量已超过1.2亿户,其中多宠家庭比例达到38%​ 以上,且持续增长。传统摄像头仅能提供基础监控功能,无法区分不同宠物个体,...

500

生成式AI合规科普:大模型备案与大模型服务登记的完整区别

AI算法大模型备案当当

随着生成式人工智能行业合规体系不断完善,越来越多云上开发企业在项目上线前,需要区分两项核心合规事项:大模型备案与大模型服务登记。

1500

大模型推理加速的架构演进:从访存瓶颈到 MTP 与 DFlash

Archive

大模型生成速度慢,根本原因不在于"算得慢",而在于"搬得慢"。自回归解码要求模型逐 token 生成,每生成一个 token 都要把数百 GB 的权重从高带宽显...

1500

大模型推理加速的架构演进:从访存瓶颈到 MTP 与 DFlash

Archive

大模型生成速度慢,根本原因不在于"算得慢",而在于"搬得慢"。自回归解码要求模型逐 token 生成,每生成一个 token 都要把数百 GB 的权重从高带宽显...

1400

AI深入企业业务的第四态:SCN增强

用户12681271

大模型进入企业应用两年多,业界已经形成了相对共识的三种模式分类。我们可以把它们想象成物质的三态——固态、液态、气态——每种都有自己的形态边界和适用条件。

1200

AI Agent上下文工程:从提示词优化到上下文压缩的全链路实践

网渡科技

过去两年,AI Agent工程实践中有一个非常明显的变化:开发者最初把主要精力放在模型选择、Prompt编写和Tool Calling上,而进入生产环境之后,真...

1600

RTX4090单卡跑32B参数模型实践:4bit量化+Transformers与vLLM双方案部署差异19.3

未闻花名

最近一直被32B环绕洗脑,本着体验和探索,核心思路就是聚焦实操体验与深度模型探索,抱着说干就干的落地心态,直面大模型本地部署的现实算力难题。当下开源大模型里,3...

9901

本地部署大模型,我踩了20个坑:这4个最致命,先收藏再动手

奋进者说

你明明照着教程一步步装,最后却卡在"连不上"或者"装了像没装"。问题不在你笨,在于本地部署有 20 个坑,90% 的新手会在头两小时里撞上同一批。我做了十四年 ...

4711

x2markdown,我用Codex做了个AI学习神器

派大星的数据屋

说实话AI的到来,我的最强烈感受不是AI多强大,而是信息过载,隔三差五出个新模型、开源Agent,还有就是X、Youtube等平台上各种技术大佬的帖子、文章,非...

4710

同一个接口每次返回都不一样?大模型输出的可靠断言怎么写

霍格沃兹-测试开发学社

AI 测试开发面试高频题:"大模型的输出是不确定的,你怎么做自动化测试?" 这篇用一个真实线上故障,完整还原 AI 测试开发工程师的处理过程:怎么定位、怎么写代...

3700
领券