首页
学习
活动
专区
圈层
工具
发布

#zero

119_LLM训练的高效内存管理与优化技术:从ZeRO到Flash Attention

安全风信子

大型语言模型(LLM)的训练面临着前所未有的计算和内存挑战。随着模型规模达到数百亿甚至数千亿参数,高效的内存管理成为训练成功的关键因素之一。2025年,LLM训...

11210

117_LLM训练的高效分布式策略:从数据并行到ZeRO优化

安全风信子

在2025年,大型语言模型(LLM)的规模已经达到了数千亿甚至数万亿参数,训练这样的庞然大物需要先进的分布式训练技术支持。本文将深入探讨LLM训练中的高效分布式...

22810

41_涌现能力:从zero-shot到in-context学习

安全风信子

2025年,zero-shot学习研究取得了显著进展。研究人员通过改进模型架构、优化训练策略和设计更有效的提示方法,不断提升模型的zero-shot能力。

12810

R-Zero:通过自博弈机制让大语言模型无需外部数据实现自我进化训练

deephub

当前的LLM改进方法高度依赖大规模人工标注数据,这种范式虽然取得了显著成果但面临两个根本性限制:人类生成数据的有限性将导致训练瓶颈,以及人工数据的智能上界制约了...

11610

The Invisible Architect of Digital Text: Zero-Width Joiner

xosg

You are reading this sentence effortlessly. The letters connect, the emojis are ...

10810

滑动窗口-1004.最大连续1的个数III

白天的黑夜

这是我们结合示例1分析的过程,在过程中我们发现在计算长度后如果不对反转为1的0进行还原,将会影响其他的长度结果。所以我们可以用一个计数器来记录0的个数,这样就省...

10710

【HDU】6033 - Add More Zero(数学推导)

FishWang

8510

BUUCTF [UTCTF2020]zero 1

YueXuan

1、密文如下,本来想尝试凯撒加密,但在PyCharm中看到存在大量“ZWJ”字符,联想到零宽隐写。

19500

面试刷题12:zero copy是怎么回事?

李福春

文件copy是java的io部分不可忽视的内容。 我是李福春,我在准备面试,今天的问题是: zero-copy是怎么回事? 操作系统的空间划分为内...

10500

【微机原理】程序设计题基础知识讲解——4、流程控制与循环

命运之光

20210

GUI Agent 借鉴R1-Zero范式:结合在线RL与思维链推理,三策略突破GUIAgent定位性能瓶颈 !

AIGC 先锋科技

致力于分享前沿科技,为你带来最新的 AI 人工趋势、深度解读和实用应用,助你更好地了解和应用人工智能,与智能时代同步前行。

49110

go-zero v1.8.4发布!内嵌文件服务、持续性能剖析全面升级,性能提升超出预期!

福大大架构师每日一题

在现代微服务架构和云原生应用高速发展的时代,框架的性能与功能往往成为开发者选择的重要因素。作为国产优秀的Go微服务框架,go-zero自发布以来持续更新迭代,不...

29910

Kafka-为什么这么快(零拷贝Zero-Copy)

运维小路

作者介绍:简历上没有一个精通的运维工程师,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。

25910

AI大模型企业应用实战(24)-什么是zero-shot, one-shot和few-shot Learning?

JavaEdge

利用训练集数据训练模型,使得模型能够对测试集的对象进行分类,但是训练集类别和测试集类别之间没有交集;期间需要借助类别的描述,来建立训练集和测试集之间的联系,从而...

59110

go-zero v1.8.3全方位解析 —— Model Context Protocol大升级,打造AI实时交互新体验!

福大大架构师每日一题

一、引言 随着人工智能技术的迅猛发展,AI与应用系统的深度融合已成为未来趋势。作为国内领先的Golang微服务框架,go-zero持续创新,不断强化其服务能力和...

48710

业内首次! 全面复现DeepSeek-R1-Zero数学代码能力,训练步数仅需其1/10

机器之心

OpenAI 的 o1 系列和 DeepSeek-R1 的成功充分证明,大规模强化学习已成为一种极为有效的方法,能够激发大型语言模型(LLM) 的复杂推理行为并...

26410

无痛提升文本对齐!无分类引导新范式CFG-Zero*火了,支持Diffusers/ComfyUI

新智元

随着生成式AI的快速发展,文本生成图像与视频的扩散模型(Diffusion Models)已成为计算机视觉领域的研究与应用热点。

35610

南洋理工&普渡大学提出CFG-Zero*:在Flow Matching模型中实现更稳健的无分类器引导方法

机器之心

随着生成式 AI 的快速发展,文本生成图像与视频的扩散模型(Diffusion Models)已成为计算机视觉领域的研究与应用热点。

33610

go-zero v1.8.2震撼发布!SSE支持、Redis新命令,性能优化再升级!

福大大架构师每日一题

各位开发者朋友们,go-zero 社区再次带来重磅更新!v1.8.2 版本正式发布,本次更新不仅新增了 SSE(Server-Sent Events)支持、Re...

31820

Zero-Shot Learning(零样本学习)

jack.yang

Zero-Shot Learning(零样本学习)是一种机器学习范式,它允许模型在没有任何特定任务的标注数据的情况下,通过利用已有的知识来推断和完成新任务。这种...

72610
领券