NLP/KG-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

NLP/KG

专栏成员

669

文章

642269

阅读量

55

订阅数

远程工作利器：高效指南教你如何在Linux服务器上部署Jupyter Notebook并实现安全远程访问

远程工作 linux 安全部署服务器

pip 是 Python 的包管理工具，用于安装和管理 Python 库。在终端中运行以下命令来安装 pip：

汀丶人工智能

2024-05-30

2670

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

swift model 部署模型 LLM

使用LoRA进行微调的模型你需要先merge-lora, 产生完整的checkpoint目录.

汀丶人工智能

2024-05-29

1390

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

汀丶人工智能

2024-05-28

1670

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

实践性能优化部署框架

训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。

汀丶人工智能

2024-05-28

7910

LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！

最佳实践 LLM agent 模型手机

SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。

汀丶人工智能

2024-05-26

1210

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

model 模型研发 LLM global

提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.

汀丶人工智能

2024-05-26

950

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南

LoRa LLM 分布式高性能模型

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将已有知识的能力以某类任务的形式展现出来。

汀丶人工智能

2024-05-26

860

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ）

模型数据算法 LLM 量化

模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。

汀丶人工智能

2024-05-26

1290

LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型

模型设计数据数据预处理 LLM

在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成功的最关键因素。

汀丶人工智能

2024-05-26

3160

LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解

编码论文模型数据 LLM

深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释：

汀丶人工智能

2024-05-26

2550

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

LLM model 创业模型实践

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

汀丶人工智能

2024-05-26

2800

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

性能 LLM 框架模型数据

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

汀丶人工智能

2024-05-26

3090

LLM 大模型学习必知必会系列(十)：基于AgentFabric实现交互式智能体应用,Agent实战

数据 LLM agent 工具模型

**Modelscope **是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括：

汀丶人工智能

2024-05-26

940

新一代AI搜索引擎神器推荐及效果测试：秘塔AI、天工AI、Perplexity等

回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需要一种有效的方式来找到他们感兴趣的信息。因此，搜索引擎的出现提供了一种更便捷、更高效的方式来检索互联网上的信息但是，搜索的本质在于以最少的信息输入，获取到最精准的结果。用户希望直接搜索最终的答案，例如用户问：“AI搜索引擎有哪些？”，希望得到对事物的精准描述——BingAI、Monica...，而非返回很多页面，让用户自己从众多页面中寻找正确答案。

汀丶人工智能

2024-05-21

5250

LLM 大模型学习必知必会系列(一)：大模型基础知识篇

开源部署模型数据 LLM

2023 年，随着 LLM 技术的发展，中国模型研究机构的开源模型迎来了爆发式的增长：

汀丶人工智能

2024-05-11

7000

LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关

prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。虽然 LLM 的功能非常强大，但 LLM 对提示词（prompt）也非常敏感。这使得提示词工程成为一项需要培养的重要技能。

汀丶人工智能

2024-05-09

8520

检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统

LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

汀丶人工智能

2024-05-07

3820

RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术

在大模型爆发的时代，快速准确地从大量数据中检索出有价值的信息变得至关重要。检索增强生成（RAG）技术，结合了传统的信息检索和最新的大语言模型（LLM），不仅能够回答复杂的查询，还能在此基础上生成信息丰富的内容。

汀丶人工智能

2024-05-07

2330

基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）

性能开源基础模型数据

基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。

汀丶人工智能

2024-05-07

2700

大模型应用：大模型AI Agent在企业应用中的6种基础类型，企业智慧升级必备

基础模型企业应用企业 agent

AI Agent 智能体在企业应用中落地的价值、场景、成熟度做了分析，并且探讨了未来企业 IT 基础设施与架构如何为未来 Gen AI（生成式 AI）做好准备。在这样的架构中，把最终体现上层应用能力的 AI Agent 从不同的技术要求与原理上分成了几类：

汀丶人工智能

2024-05-07

4820

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态