在当前信息时代，大型语言模型（Large Language Models，LLMs）的发展速度和影响力日益显著。随着技术进步，我们见证了从基本的Transfor...

见状，不少网友纷纷喊话：干的漂亮！但，Stable Diffusion 3啥时候出啊？

这篇论文对应的链接为：https://openreview.net/pdf?id=tuzTN0eIO5 ，最近被ICLR 2024接收，但不少AI Infra的...

GPT-4被普遍认为是最好的生成式AI聊天机器人，但开源模型一直在变得越来越好，并且通过微调在某些特定领域是可以超过GPT4的。在开源类别中，

随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。

假设有10个计算字段都要进行同比、环比和任意月份的对比，那么常规做法就是将这10个度量值分别再写10×3=30个度量值。

错误提示： collect2: error: ld returned 1 exit status

随着最近 ChatGPT 的大火，越来越多人开始关注其中用到的 RLHF（Reinforcement Learning from Human Feedback）...

近年来，LLM在各个领域的性能都有了显著的进展。随着这些LLM被用于越来越复杂的任务，它们经常需要更长的推理过程或理解更大的上下文。在这些情况下，LLM在长序列...

大规模文本语料库上的模型预训练已经被证明在NLP领域的各种下游应用中非常有效。在图挖掘领域，也可以类比预训练图模型在大规模图上，以期望从中获益于下游图应用，这也...

响应面（Response Surface Methodology，RSM）分析是一种常用的统计方法，用于研究和优化生产过程中的影响因素。通过建立数学模型来描述因...

在阅读这篇文章前，我强烈建议你先读一下tidymodels入门篇：tidymodels用于机器学习的细节，首先对tidymodels有一个整体的认知。

这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前...

Created by: strint Created time: May 31, 2023 6:02 PM

本文基于DeepSpeedExamples仓库中给出的Megatron相关例子探索一下训练GPT2模型的流程。主要包含3个部分，第一个部分是基于原始的Megat...

这篇文章主要翻译DeepSpeed的Megatron-LM GPT2 ，Zero零冗余优化器技术，ZeRO-Offload技术。关于DeepSpeed 的Zer...

众所周知，移动通信市场已经日趋饱和，增加规模已经变得异常艰难，通信运营商互挖墙角已经成为家常便事。很多消费者，今天还是中国移动的客户，明天只要中国电信给点好处，...

VaR方法作为当前业内比较流行的测量金融风险的方法,具有简洁,明了的特点,而且相对于方差来讲,更多的将投资人的损失作为风险具有更好的合理性。

这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时...