首页
学习
活动
专区
圈层
工具
发布

#LLM

Aibrix是如何利用Envoy进行LLM API流量转发的?

宅蓝三木

在大模型(LLM)推理服务中,如何高效地进行流量调度是一个核心挑战。不同于传统的微服务,LLM请求具有长耗时、高并发、对GPU显存敏感等特点。Aibrix 作为...

5510

2026年Claude Code、OpenCode智能编码代理工具选型研究|附教程

拓端

在大模型技术快速渗透软件工程领域的当下,智能编码代理工具已成为提升研发效能的核心抓手,终端环境下的 AI 编码能力更是成为开发者关注的核心方向。过去数十年,终端...

19600

qKnow 知识平台商业版 v2.6.2 发布:重构知识融合,上线 AI 工作流配置中心,视觉和交互效果升级

吴同

在大规模知识图谱的构建过程中,“数据一致性”与“模型调优灵活性”往往是两大核心痛点。qKnow v2.6.2 版本正是为了解决这两个问题而来。本次更新没有堆砌新...

4900

从“经验驱动”到“知识驱动”:某轨道交通企业的知识中枢实践

吴同

导读:在轨道交通行业由“建设规模”转向“精细化运营”的阶段,知识体系的系统化建设正在成为智能化转型的关键。本案例围绕某轨道交通领域上市企业的实践,探讨如何通过知...

3300

LLM测试2026:五大实战新趋势深度解读

顾翔

2026年,大语言模型(LLM)已不再是实验室里的技术秀,而是深度嵌入金融风控、医疗辅助诊断、政务智能问答、车载语音交互等关键场景的基础设施。与此同时,一起因L...

13610

LLM测试的成本效益分析实战

顾翔

2024年,国内超68%的AI原生应用已将大语言模型(LLM)嵌入核心业务流程——从智能客服的意图泛化理解,到金融风控中的非结构化文本推理,再到医疗问诊系统的多...

10610

使用 LLM 为 QA 测试数据实现语义验证

顾翔

顾老师一个基于文本生成playwright的工具Jerry诞生了,下载地址:https://github.com/xianggu625/Jerry

9410

《上下文为何总是“断片”?—— 深入解析 LLM 的对话状态管理与记忆机制》

沈宥

这种“断片”式交互严重破坏了用户体验,也让复杂的、需要多步骤协作的任务变得几乎不可能完成。问题的根源,在于我们对 LLM 工作方式的一个根本性误解。

13710

《Prompt 越写越长,效果却越来越差?—— 解密 LLM 的上下文窗口与注意力机制》

沈宥

在使用大语言模型(LLM)的初期,一个普遍的认知误区是:“给 AI 的信息越多,它就能做得越好”。于是,我们开始堆砌背景知识、粘贴整份文档、甚至把整个项目的代码...

17810

什么是大语言模型(LLM)

自贸港一哥

大语言模型(Large Language Model,简称LLM)是一种旨在理解和生成人类语言的人工智能模型。它们通过在海量文本数据上进行训练,学习语言中的复杂...

23310

Open Code的免费API集成的使用教学

Tyenn_Siiwee

1. 配置文件位置:可以根据项目的所在位置将 opencode.json 文件放置在项目根目录中,或者将其设置为全局的~/.config/opencode/op...

46410

langchaingo:用Go语言构建LLM应用的利器

编码如写诗

在AI大模型时代,LangChain已成为Python开发者构建LLM应用的首选框架。但对于Go开发者来说,有没有类似的工具呢?答案是肯定的——langchai...

21710

收藏! 2026最强开源AI编程工具清单:从代码补全到自主智能体

AI-Frontiers

原文: https://mp.weixin.qq.com/s/5viL2gJE3IfmVS1WxTlZAQ关注公zh: AI-Frontiers

1.3K20

一文读懂 n-grams:大模型出现前,语言模型就靠它

ETL 小当家

在深度学习时代之前,让机器理解人类语言是一个巨大的挑战。早期的AI系统面对文本时,就像一个完全不懂中文的外国人看一本中文小说——每个字都认识,但组合起来就懵了。

12610

企业数字化新考题:告别广告思维,如何构建基于GEO的高可信品牌知识库?

万悉Trendee

2.1 什么是 GEO? GEO 是指通过优化公开网络数据的结构、逻辑和语义,使大语言模型(LLM)能够更准确、更完整地理解和引用品牌信息的技术手段。

7610

从提示工程转向 上下文工程,6种让LLM在生产环境中稳定输出的技术

deephub

RAG系统返回了完美的文本块,提示词写得很漂亮,但LLM还是在产生幻觉;文档加得越多,回复质量反而越差。这些问题问题不出在提示词上,而是出在上下文上。

11510

超越上下文窗口:CodeAct与RLM,两种代码驱动的LLM扩展方案

deephub

到这里可以看到 CodeAct 是怎么让模型动手干活的——写代码、执行、拿结果,LLM 有了"编程的手",不再只是被动回答问题。

11210
领券