腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

DeepHub IMBA

不可错过的AI方向干货分享，赶紧关注吧 internet + machine learning +big data +architecture = IMBA

专栏作者

1361

文章

1471265

阅读量

62

订阅数

PyTorch小技巧：使用Hook可视化网络层激活（各层输出）

技巧可视化模型 pytorch hook

这篇文章将演示如何可视化PyTorch激活层。可视化激活，即模型内各层的输出，对于理解深度神经网络如何处理视觉信息至关重要，这有助于诊断模型行为并激发改进。

2024-04-17

1270

ORPO偏好优化：性能和DPO一样好并且更简单的对齐方法

模型数据性能优化论文

现在有许多方法可以使大型语言模型（LLM）与人类偏好保持一致。以人类反馈为基础的强化学习（RLHF）是最早的方法之一，并促成了ChatGPT的诞生，但RLHF的成本非常高。与RLHF相比，DPO、IPO和KTO的成本明显更低，因为它们不需要奖励模型。

2024-04-16

1970

时空图神经网络ST-GNN的概念以及Pytorch实现

模型数据神经网络 pytorch self

在我们周围的各个领域，从分子结构到社交网络，再到城市设计结构，到处都有相互关联的图数据。图神经网络（GNN）作为一种强大的方法，正在用于建模和学习这类数据的空间和图结构。它已经被应用于蛋白质结构和其他分子应用，例如药物发现，以及模拟系统，如社交网络。标准的GNN可以结合来自其他机器学习模型的想法，比如将GNN与序列模型结合——时空图神经网络（Spatail-Temporal Graph），能够捕捉数据的时间和空间依赖性。

2024-04-15

1370

ReFT(表征微调):比PeFT效果更好的新的大语言模型微调技术

性能编码论文模型效率

ReFT(Representation Finetuning)是一种突破性的方法，有望重新定义我们对大型语言模型进行微调的方式。

2024-04-15

1900

Moirai：Salesforce的时间序列预测基础模型

基础模型数据 salesforce 变量

在过去的几个月中，时间序列基础模型的发展速度一直在加快，每个月都能看到新模型的发布。从TimeGPT 开始，我们看到了 Lag-Llama 的发布，Google 发布了 TimesFM，Amazon 发布了 Chronos，Salesforce 发布了 Moirai。TimesFM是信息最多的模型，而Lag-Llama、Chronos我们都做过详细的介绍。今天我们来详细介绍一下Moirai，这里可能最不知名（相对）就是Salesforce了，所以基本没有介绍 Moirai的文章，我们就来补足这个信息。

2024-04-15

1350

PiSSA ：将模型原始权重进行奇异值分解的一种新的微调方法

性能部署论文模型数据

我们开始看4月的新论文了，这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的Principal Singular Values and Singular Vectors Adaptation（PiSSA）方法。

2024-04-15

1090

10个大型语言模型(LLM)常见面试问题和答案解析

存储面试模型数据 LLM

提示校准包括调整提示，尽量减少产生的输出中的偏差。微调修改模型本身，而数据增强扩展训练数据。梯度裁剪防止在训练期间爆炸梯度。

2024-04-15

930

5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现

LLM pytorch input 模型数据

本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。

2024-04-15

1070

为什么大型语言模型都在使用 SwiGLU 作为激活函数？

模型网络效率函数论文

如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和GLU两者的特点。

2024-04-15

2010

归一化技术比较研究：Batch Norm, Layer Norm, Group Norm

数据性能 layer 规范化模型

归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络体系结构、批处理大小和特定任务的不同而变化。

2024-04-15

340

推测解码：在不降低准确性的情况下将LLM推理速度提高2 - 3倍

工作论文模型算法 LLM

在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。

2024-04-15

1450

FaaF:为RAG系统量身定制的事实召回评估框架

效率基础框架模型系统

在低质量生成的文本中自动验证真实的、独立的陈述和模拟低质量的检索增强生成(RAG)场景并没有得到太多的关注。

2024-04-15

990

Vision-RWKV:基于RWKV架构的高效可扩展视觉感知模型

数据效率性能架构模型

Vision-RWKV 是从 RWKV 改进而来的视觉模型，可以处理稀疏输入并高效执行健壮的全局处理。它能够很好地扩展到大型参数和数据集，优于其降低了空间聚合复杂性使得在高分辨率图像处理时无需窗口操作。在图像分类方面，VRWKV 在性能上优于 ViT，表现出更快的速度和更低的内存使用量，尤其是对于高分辨率输入。在密集预测任务中，它超越了基于窗口的模型，同时保持可比较的速度，因此在视觉感知任务中是一种更高效的替代方案。

2024-04-15

2130

LUMOS：基于开源LLM的可训练的代理框架

框架 LLM 开源代理工具

基于LLM的agent可以利用LLM对问题进行推理，制定解决问题的计划，然后利用各种工具执行复杂的任务。LUMOS是一种通过统一、模块化和开源的、可训练的代理框架，包含一个学习高级子目标生成的规划模块，和一个经过训练的使用执行模块中的各种工具将这些子目标转换为动作的基础模块。

2024-04-15

1000

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

论文模型性能 pytorch 工作

分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。

2024-04-03

2250

大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?

模型缓存编码架构论文

自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP) 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE) 的引入，2022年标志着该领域的重大发展。

2024-04-01

3700

SiMBA：基于Mamba的跨图像和多元时间序列的预测模型

网络性能论文模型数据

这是3月26日新发的的论文，微软的研究人员简化的基于mamba的体系结构，并且将其同时应用在图像和时间序列中并且取得了良好的成绩。

2024-04-01

2230

Quiet-STaR:让语言模型在“说话”前思考

LLM 论文模型算法性能

大型语言模型(llm)已经变得越来越复杂，能够根据各种提示和问题生成人类质量的文本。但是他们的推理能力让仍然是个问题，与人类不同LLM经常在推理中涉及的隐含步骤中挣扎，这回导致输出可能在事实上不正确或缺乏逻辑。

2024-04-01

1010

使用MergeKit创建自己的专家混合模型：将多个模型组合成单个MoE

配置测试架构模型内存

由于Mixtral的发布，专家混合(MoE)架构在最近几个月变得流行起来。虽然Mixtral和其他MoE架构是从头开始预训练的，但最近出现了另一种创建MoE的方法：Arcee的MergeKit库可以通过集成几个预训练模型来创建moe。这些人通常被称为frankenMoEs或MoErges，以区别于预先训练的MoEs。

2024-04-01

1280

如何开始定制你自己的大型语言模型

开发模型数据性能高性能

2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我们需要的大型语言模型呢？

2024-04-01

920

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态