在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTo...

自动微分模块是PyTorch中用于实现张量自动求导的模块。PyTorch通过torch.autograd模块提供了自动微分的功能，这对于深度学习和优化问题至关重...

嗨， 大家好， 我是 徐小夕。最近在 github 上发现一款非常有意思的框架—— js-pytorch。它可以让前端轻松使用 javascript 来运行深度...

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理和神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解...

使用PyTorch Profiler进行性能分析已经一段时间了，毕竟是PyTorch提供的原生profile工具，个人感觉做系统性能分析时感觉比Nsys更方便一...

这篇文章将演示如何可视化PyTorch激活层。可视化激活，即模型内各层的输出，对于理解深度神经网络如何处理视觉信息至关重要，这有助于诊断模型行为并激发改进。

在搭建网络模型时，掌握对张量形状的操作是非常重要的，因为这直接影响到数据如何在网络各层之间传递和处理。网络层与层之间很多都是以不同的 shape 的方式进行表现...

🔎使用 Tensor.numpy 函数可以将张量转换为 ndarray 数组，但是共享内存，可以使用 copy 函数避免共享。

用于处理数据样本的代码可能很快就会变得混乱且难以维护。理想情况下，为了获得更好的可读性和模块化，我们希望处理数据集的代码与模型训练代码分离。

我在刚接触的pytorch的时候，只有一台破笔记本，学到CNN的时候，需要用显卡训练模型，那时的我，兜比脸干净，此生头一次感觉到贫穷限制了我对知识的追求。

在我们周围的各个领域，从分子结构到社交网络，再到城市设计结构，到处都有相互关联的图数据。图神经网络（GNN）作为一种强大的方法，正在用于建模和学习这类数据的空间...

本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。

Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发...

谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发...

在 PyTorch 界里，构建神经网络的神器就是 torch.nn 包。这个包是大脑的搭建工坊，提供无限可能 ✨

👋 今天我们继续来聊聊PyTorch，这个在深度学习领域火得一塌糊涂的开源机器学习库。PyTorch以其灵活性和直观的操作被广大研究人员和开发者所青睐。

在本教程中，我们将为您提供在Windows、Mac和Linux系统上安装和配置GPU版本的PyTorch（CUDA 12.1）的详细步骤。我们将使用清华大学开源...

在pytorch中没有GQA的官方实现。所以我找到了一个比较好的非官方实现，有兴趣的可以试试：

启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cu...