NSCC集群使用笔记

如果是 NUS，NTU 或者 ASTAR 的学生，可以直接用自己的学校 ID 登录。登录不上的话可以发邮件联系 nscc 工作人员即可，基本上第二天就会回复解决...

Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings

transformers 库里实现的很多模型会有这么两个函数 get_output_embeddings和 get_output_embeddings。以 Sw...

Pytorch 如何使用 storage 实现参数 offload？

在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTo...

TACC 集群使用笔记

密码都正确之后你会进入到 login 节点，在这里千万不能随意执行大规模的计算任务，因为很有可能会被封号。你需要使用 compute 节点执行计算任务。

大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

vLLM 的一个很大创新点是将物理层面的 GPU 和 CPU 可用内存切分成若干个 block,这样可以有效降低内存碎片化问题。具体而言，vLLM 的 bloc...

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解

简单理解，扩散模型如下图所示可以分成两部分，一个是 forward，另一个是 reverse 过程：

大模型推理框架 vLLM 源码解析（一）

执行命令：python run.py。该脚本会自动将模型以张量并行的方式在两个 GPU 上进行推理计算。

vllm 安装踩坑 (The NVIDIA driver on your system is too old)

我尝试安装支持 cuda 11.7 的最新版本 torch==2.0.1，运行pip install -e .安装仍然会遇到上述问题。解决办法是修改 vllm ...

IEEE 浮点数表示原理

原文： https://zhuanlan.zhihu.com/p/144697348

LLM 学习笔记-Deepspeed-MoE 论文

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power N...

AttributeError: module 'torch' has no attribute 'fx'解决办法

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

前面已经介绍过了，ModelOutput是所有模型输出的基类。下面是其源码核心部分，一些具体实现代码删除了，不过不影响理解。

LLM 入门笔记-Tokenizer

下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。

在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集

更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_w...

大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的？

下面这边文章讲的非常清晰，原文链接：https://blog.csdn.net/ljp1919/article/details/113616226

transformer模型训练、推理过程分析

c++中template的用法是什么？

在C++中，template是一种通用编程工具，用于创建通用的函数或类。通过使用模板，可以编写可以应用于不同数据类型的函数或类，从而实现代码的重用性和灵活性。t...

FlashAttention算法简介

不同硬件模块之间的带宽和存储空间有明显差异，例如下图中左边的三角图，最顶端的是GPU种的SRAM，它的容量非常小但是带宽非常大，以A100 GPU为例，它有10...

【转】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）

原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ

Oh-my-zsh主题乱码解决办法

随后，我们终端偏好设置，在「描述文件 > 文本」中更改字体,字体可以选择 DejaVu Sans Mono for Powerline 字体（逮虾户！），大小设...