随着大模型的发展，越来越多人员参与到大模型炼丹和实践中，但HuggingFace在国内无法方便访问，带来不少问题。

简单聊聊可以在端侧运行的 Mini CPM 2B SFT / DPO 版本的模型。

NCCL是一个Nvidia专门为多GPU之间提供通讯的通讯库，或者说是一个多GPU卡通讯的框架 ，提供了包括AllReduce、Broadcast、Reduce...

这篇文章，想分享下我日常是如何下载模型的，包括下载来源和工具使用细节，希望对折腾模型的你也有帮助。

Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH...

当争议和流量都消失后，或许现在是个合适的时间点，来抛开情绪、客观的聊聊这个 34B 模型本身，尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场...

本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右...

本教程将介绍如何使用腾讯云的GPU云服务器、对象存储、云原生大数据平台等产品来搭建Transformer模型的训练环境。包括开通云服务、配置环境、代码实现等内容...

环境配置是模型训练的基础工作,本教程将详细介绍Transformer模型的训练环境配置过程,包括计算硬件选择、深度学习框架选型、多机集群构建、分布式训练等内容。...

数据准备是模型训练的基础,本教程将详细介绍Transformer在自然语言处理任务中的数据准备过程。我们将以文本分类任务为例,手把手教你如何获取质量好的语料,进...

本教程将手把手地带你了解如何训练一个Transformer语言模型。我们将使用TensorFlow框架,在英文Wikipedia数据上预训练一个小型的Trans...

Transformer是2017年由Google团队在论文《Attention Is All You Need》中提出的一种全新的神经网络架构,主要用于自然语言...

huggingface 相关环境的安装和问题处理本篇暂不涉及，后续补充。这里以一个模型为例，完成从模型介绍到加载、运行的完整过程，作为我们熟悉 huggingf...

原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数...

在当前信息爆炸的时代，越来越多的企业、组织甚至个人都面临着处理和管理大量的信息的挑战。其中，对于问题和答案的管理尤其重要，因为它可以直接影响到企业或组织的运作和...