在深度学习领域，混合精度训练已成为加速模型训练的核心技术之一。这项技术通过巧妙结合FP16（半精度浮点数）和FP32（单精度浮点数）两种数据格式，在保证模型精度...

其问题归根在于缩放位置上面，接下来我们一起解决此问题。 首先点击Setting->User interface->Display->Scaling缩放设置为2(...

在大语言模型后训练阶段，强化学习已成为提升模型能力、对齐人类偏好，并有望迈向 AGI 的核心方法。然而，奖励模型的设计与训练始终是制约后训练效果的关键瓶颈。

【新智元导读】最近，一款全新的奖励模型「POLAR」横空出世。它开创性地采用了对比学习范式，通过衡量模型回复与参考答案的「距离」来给出精细分数。不仅摆脱了对海量...

此外，他们的实验还表明，2-simplicial Transformer 相对于 Transformer 具有更有利的参数数量 scaling 指数。这表明，与...

后训练拓展（Post-training scaling）利用微调（fine-tuning）、剪枝（pruning）、蒸馏（distillation）和强化学习等...

2024 年底，Ilya Sutskever 断言「我们所知的预训练时代即将终结」，让整个人工智能领域陷入对 Scaling What 的集体追问之中。

强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理技能吗，还是只是提高...

本文由来自香港城市大学、麦吉尔大学（McGill）、蒙特利尔人工智能实验室（MILA）、人大高瓴人工智能学院、Salesforce AI Research、斯坦...

如果你把这个方法放到 scaling 图上，你会发现它根本不能 scale。真实机器人数据的获取是在拿人力当燃料，这比用化石燃料更糟糕。而且，一个机器人每天只有...

一种常用方法是把单独预训练好的模型组合起来，比如把训练好的视觉编码器连接到LLM的输入层，再进行多模态训练。

你能想象未来的诺贝尔奖颁奖典礼上，站在领奖台上的不是人类科学家，而是一个机器人吗？

为了解决这些难题，强化学习（RL）被引入进来；这能让模型使用动态的反馈和优化序列决策来提升适应能力。此外，包括低秩适应（LoRA）、适配器和检索增强生成（RAG...

作为公认的新范式，它可以让整个智能驾驶系统反应更快，更加拟人，能处理以往方法无法解决的大量 corner case，被认为是自动驾驶通向 L3、L4 的正确方向...

为了将损失建模为训练 token 数量 D 和模型参数 N 的函数，他们还拟合了以下参数函数，得到了 scaling 指数 α = 0.301 和 β = 0....

刚刚，智谱推出最新的 AutoGLM 沉思模型，不仅具备深度研究能力（Deep Research），还能实现实际操作（Operator）。并且，这个会“边想边干...

这会是 DeepSeek R2 的雏形吗？本周五，DeepSeek 提交到 arXiv 上的最新论文正在 AI 社区逐渐升温。

刚刚，谷歌研究员Zachary Charles宣布：「在越来越大的模型上，分布式训练取得重大突破」。

ViT大佬翟晓华（Xiaohua Zhai）并不这样认为，至少在多模态模型上并非如此。

本文由悉尼大学计算机学院王云柯，李言蹊和徐畅副教授完成。王云柯是悉尼大学博士后，李言蹊是悉尼大学三年级博士生，徐畅副教授是澳洲ARC Future Fellow...