腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器之心

专栏作者

8963

文章

6290743

阅读量

277

订阅数

来自科技进步一等奖的肯定：腾讯破解万亿参数大模型训练难题

机器学习平台模型腾讯性能分布式

中国电子学会 2023 科学技术奖授奖名单公布，这次，我们发现了一个熟悉的身影 —— 腾讯 Angel 机器学习平台。

2024-03-27

1320

性能提升、成本降低，这是分布式强化学习算法最新研究进展

分布式强化学习量化算法性能

深度强化学习（Deep Reinforcement Learning，DRL）是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效（data inefficiency）问题，受到分布式机器学习技术的启发，分布式深度强化学习 (distributed deep reinforcement learning，DDRL) 已提出并成功应用于计算机视觉和自然语言处理领域。有观点认为，分布式强化学习是深度强化学习走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。

2024-02-26

1620

从框架到经典方法，全面了解分布式深度强化学习DDRL

网络深度强化学习分布式架构框架

AlphaGo 是一个在人机博弈中赢得众多职业围棋手的 agent 机器人。随着 AlphaGo 的突破，深度强化学习（Deep Reinforcement Learning，DRL）成为一种公认的解决连续决策问题的有效技术。人们开发了大量算法来解决介于 DRL 与现实世界应用之间的挑战性问题，如探索与开发困境、数据低效、多 agent 合作与竞争等。在所有这些挑战中，由于 DRL 的试错学习机制需要大量交互数据，数据低效（data inefficiency）是最受诟病的问题。为了应对这一问题，受到分布式机器学习技术的启发，分布式深度强化学习 (distributed deep reinforcement learning，DDRL) 已提出并成功应用于计算机视觉和自然语言处理领域。有观点认为，分布式强化学习是深度强化学习走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。

2024-02-26

2200

全球最强长文本大模型，一次可读35万汉字：Baichuan2-192K上线

开源分布式测试模型性能

10 月 30 日，百川智能正式发布 Baichuan2-192K 长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了 192K token。

2023-11-02

3.6K0

不再让自己的隐私数据“裸奔”，一种新的身份认证体系出现了

分布式安全数据隐私终端

当你在认证 “学生身份”、“会员信息” 等身份时，当你通过第三方平台预订机票酒店或景点门票时，当你在各类会员页面、购物平台输入自己身份证号、手机号、地址时，隐私边界的被侵入是否总是在你的脑海中敲响一声警告：我的数据会不会被泄露？这个问题成为你互联网生活中一个悬而未决的疑问，但大多数时候，这只会是一场无能为力的自我叩问 —— 你无法知道你输入的信息会流向何方，你也无法知道黑灰产的数据又是从哪而来。

2023-09-19

2110

智能体的「一方有难八方支援」，一种分布式AI计算新范式诞生了

分布式架构模型设计性能

最近大型语言模型（LLM）的成功促使越来越多的人探索通过它解决各种复杂的任务，其中 LLM 增强的自主 agent（LAA）尤为引人瞩目。LLA 将 LLM 的智能扩展到了顺序动作执行中，在通过收集观察结果与环境交互并解决复杂任务方面展现出了优越性能。这类代表性工作有 BabyAGI、AutoGPT3、ReAct、Langchain 等。

2023-09-08

1610

清华发布SmartMoE：一键实现高性能MoE稀疏大模型分布式训练

分布式高性能模型系统性能

2023 年 7 月，清华大学计算机系 PACMAN 实验室发布稀疏大模型训练系统 SmartMoE，支持用户一键实现 MoE 模型分布式训练，通过自动搜索复杂并行策略，达到开源 MoE 训练系统领先性能。同时，PACMAN 实验室在国际顶级系统会议 USENIX ATC’23 发表长文，作者包括博士生翟明书、何家傲等，通讯作者为翟季冬教授。PACMAN 实验室在机器学习系统领域持续深入研究，SmartMoE 是继 FastMoE, FasterMoE 和 “八卦炉” 后在大模型分布式训练系统上的又一次探索。欲了解更多相关成果可查看翟季冬教授首页：https://pacman.cs.tsinghua.edu.cn/~zjd

2023-09-08

6320

微软新出热乎论文：Transformer扩展到10亿token

分布式 token 测试论文模型

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。

2023-08-07

1860

华为鸿蒙2.0正式开源，明年登陆手机，网友：我已上手，感觉良好

开源分布式华为开发者手机

机器之心报道编辑：杜伟、蛋酱「如果没有编译器、编程框架，就根本算不上生态系统。只有扎好软件系统的根，未来的中国软件行业生态才能枝繁叶茂。」华为消费者业务软件部总裁王成录说道。华为在去年 HDC 2019 大会上推出鸿蒙 1.0 之后，这一全球首个微内核全场景分布式 OS 已经走过了风风雨雨的一年多时间。昨日，在东莞松山湖举办的 2020 华为开发者大会上，华为常务董事、消费者业务 CEO 余承东重磅宣布了升级版自研操作系统鸿蒙 OS 2.0。他表示：「鸿蒙 2.0 将全面使能全场景生态，提供跨设备、

2023-03-29

4160

端到端问答新突破：百度提出RocketQA，登顶MSMARCO榜首

分布式百度模型数据系统

机器之心发布机器之心编辑部开放域问答（Open-domain QA）一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发，提出了RocketQA训练方法，大幅提升了对偶式检索模型的效果，为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中，并将在更多场景中发挥作用。近日，百度提出了面向端到端问答的检索模型训练方法 RocketQA，该方法针对模型训练中存在的问题，通过跨批次负采样（cross-batch negatives）、去噪的强负例采样（d

2023-03-29

3300

PyTorch 1.9发布，支持新API，可在边缘设备中执行

api 深度学习分布式 pytorch 模型

机器之心报道编辑：陈萍 PyTorch 团队发布了 PyTorch 1.9 版本。该版本整合了 1.8 版本发布以来的 3,400 多次 commit，398 名贡献者参与更新。提供了包括支持科学计算、前端 API、大规模分布式训练等主要改进和新特性。近年来，深度学习框架 PyTorch 凭借着其对初学者的友好性和灵活性，发展迅猛。不久之前，PyTorch 官方博客发布 1.8 版本，此版本由 1.7 发布以来的 3000 多个 commit 组成，重要更新内容包括在编译、代码优化和科学计算前端 API

2023-03-29

4220

Hugging Face发布PyTorch新库「Accelerate」：适用于多GPU、TPU、混合精度训练

机器学习分布式 gpu 科技数据

机器之心报道作者：力元多数 PyTorch 高级库都支持分布式训练和混合精度训练，但是它们引入的抽象化往往需要用户学习新的 API 来定制训练循环。许多 PyTorch 用户希望完全控制自己的训练循环，但不想编写和维护训练所需的样板代码。Hugging Face 最近发布的新库 Accelerate 解决了这个问题。「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类

2023-03-29

9500

分布式机器学习中的拜占庭问题

机器学习分布式服务器数据异常

机器之心分析师网络作者：仵冀颖编辑：H4O 本文重点探讨分布式学习框架中针对随机梯度下降（SGD）算法的拜占庭问题。分布式学习（Distributed Learning）是一种广泛应用的大规模模型训练框架。在分布式学习框架中，服务器通过聚合在分布式设备中训练的本地模型（local model）来利用各个设备的计算能力。分布式机器学习的典型架构——参数服务器架构中，包括一个服务器（称为参数服务器 - Parameter Server，PS）和多个计算节点（workers，也称为节点 nodes）[1]

2023-03-29

6300

可定制算法和环境，这个开源强化学习框架火了

开源分布式强化学习进程框架

机器之心报道机器之心编辑部强化学习框架怎么选？不如自己定制一个。强化学习（reinforcement learning，RL）是近年来最受关注的人工智能研究方向之一，在机器人、游戏等领域应用甚广。现有的强化学习框架往往无法支持高效、定制化的训练场景的问题。近日，GitHub 上一个名为 JORLDY 的开源、可定制强化学习（RL）框架引发关注。项目地址：https://github.com/kakaoenterprise/JORLDY JORLDY 的主要优点是提供多种分布式强化学习算法，并且

2023-03-29

7370

IEEE 2021主席热门候选人，「中国科技圈的老朋友」赛义夫·拉曼教授，邀您投出宝贵一票！

分布式物联网工程师科技效率

IEEE 2021主席选举倒计时！预祝赛义夫·拉曼教授众望所归，竞选成功！作为 IEEE 2021 年主席选举热门候选人，赛义夫 · 拉曼教授是学界公认的电力与能源专家，也是中国科技圈的老朋友。近年来，赛义夫 · 拉曼教授与中国的学术交流十分频繁，积极助力中国学者在 IEEE 的成长和影响力提升，这两年中国 IEEE 会员人数和当选 Fellow 的人数明显增加。我们先通过这个小视频来了解下：作为全球电力与能源专家，赛义夫先生认为电气化的普及，分布式能源和能源效率将成主流；物联网在内的数字化技术将得到广

2023-03-29

1730

南洋理工安波教授：分布式人工智能进展与趋势

人工智能分布式强化学习科技实践

近年来，随着人工智能研究的逐步深入，针对多智能体系统的研究逐渐成为一个重要研究方向。在这一领域，研究者重点关注的问题是：决策不再由中心，而是自治的分布式多智能体决定，分布式人工智能（Distributed Artificial Intelligence）研究应运而生。随着分布式人工智能国际上在德州扑克、星际争霸及国内王者荣耀等不同场景上取得突破性进展，分布式人工智能的研究群体也日益壮大，同时在工业界也获得了越来越多的关注。因此，国内学术界迫切希望举办一个新的会议，成为国内分布式人工智能的高水平交流平台

2023-03-29

1.2K0

上海交大开源MALib多智能体并行训练框架，支持大规模基于种群的多智能体强化学习训练

开源分布式强化学习框架算法

机器之心专栏作者：上海交大和UCL多智能体强化学习研究团队基于种群的多智能体深度强化学习（PB-MARL）方法在星际争霸、王者荣耀等游戏AI上已经得到成功验证，MALib 则是首个专门面向 PB-MARL 的开源大规模并行训练框架。MALib 支持丰富的种群训练方式（例如，self-play, PSRO, league training)，并且实现和优化了常见多智能体深度强化学习算法，为研究人员降低并行化工作量的同时，大幅提升了训练效率。此外，MALib 基于 Ray 的底层分布式框架，实现了全新的中心

2023-03-29

9850

Galvatron项目原作解读：大模型分布式训练神器，一键实现高效自动并行

分布式工作论文模型系统

目前「大模型」在 AI 领域的多种应用场景都在大放异彩，其中基于 Transformer 的大规模预训练模型已经成为了当前基础模型（Foundation Model）的核心架构。与此同时，这类稠密大模型拥有着动辄数十亿、百亿甚至万亿规模的参数量，面临高昂的计算、存储、以及通信成本，为 AI 基础设施带来了巨大的挑战。人们研发了很多工具（如 Megatron、DeepSpeed、FairSeq 等）来实现如数据并行、张量模型并行、流水并行、分片数据并行等各种并行范式。但这种粗粒度的封装逐渐难以满足用户对系统效

2023-03-29

3210

CUHK计算机系James Cheng老师课题组招收MLOps、图系统方向工程师和实习生

分布式工程师工作开发系统

本期将为大家介绍香港中文大学计算机科学与工程系 James Cheng 老师招收工程师和实习生相关信息。 Husky Data Lab 是由香港中文大学计算机科学与工程系 Prof. James Cheng 领导下的大数据实验室，专注于高性能数据分析系统和数据库的开发，研究成果已被应用于工业界多个大规模 / 高性能系统。个人主页：https://www.cse.cuhk.edu.hk/~jcheng/ 目前，James Cheng 教授团队在开发 Ofnil 和 Graxy 两个平台： Ofnil gr

2023-03-29

4810

不同专业、不同背景，如何高效上手隐私计算并参与共建？

开源分布式隐私计算开发者框架

数据被升格为生产要素，相关政策指引超预期落地，数字中国建设提速。政策利好叠加旺盛市场需求，当前突破数据价值流通困境的关键技术——隐私计算将加速迎来爆发期。在产业层面，隐私计算落地应用门槛极高，需要堆积多领域专家及大量技术资源。未来随着更多领域企业数字化建设加速，市场对于更低技术门槛、更高性能以及互联互通的基建产品的需求将愈加迫切。目前，隐私计算领域内已经聚集了一批优秀的技术设施建设者，包括具备综合能力的互联网科技公司、专注数据安全的安全厂商和众多强数据行业企业。作为推动隐私计算通用化、普惠化进程的关注者

2023-03-29

2860

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态