腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

相约机器人

专栏作者

664

文章

1042822

阅读量

52

订阅数

百度和PCL团队推出ERNIE 3.0 Titan：2600亿参数的预训练语言模型

分布式编程算法神经网络深度学习人工智能

随着最近人工智能的突破，人类越来越依赖人工智能来解决现实世界的问题。这使得人类学习和运用知识的能力与计算机一样重要。人类通过学习和经验来学习和收集信息，以了解周围环境中的一切。随着知识库的增长，理解和解决问题以及区分事实与荒谬的能力也会增加。然而，人工智能系统缺乏这样的知识，限制了它们适应非典型问题数据的能力。

代码医生工作室

2022-01-08

2.3K0

研究人员推出“PERSIA”：一种基于 PyTorch 的系统，用于训练多达 100 万亿个参数的大规模深度学习推荐模型

推荐系统分布式编程算法神经网络 https

基于深度学习的模型主导了生产推荐系统的当代格局。现代推荐系统提供了大量实际应用。由于规模不断扩大的深度神经网络模型，它们取得了令人难以置信的进步。

代码医生工作室

2021-12-09

4080

微软开源深度学习库 SynapseML：可直接在系统中嵌入45种不同机器学习服务、支持100多种语言文本翻译

分布式机器学习神经网络深度学习人工智能

目前，数据科学团队在使用机器学习模型时正面临着越来越大的压力。虽然 AI 的采用和分析持续上升，但大约有 87% 的数据科学项目从未投入生产。根据 Algorithmia 最近的调查显示，22% 的公司需要一到三个月的时间来部署模型以实现业务价值，而 18% 的公司需要三个月以上的时间。

代码医生工作室

2021-12-01

5680

Hugging Face 推出“数据集”：用于自然语言处理 (NLP) 的轻量级社区库

NLP 服务缓存分布式编程算法

随着研究人员提出新的目标、更大的模型和独特的基准，公开可用的 NLP（自然语言处理）数据集的规模、种类和数量迅速扩大。精选数据集用于评估和基准测试；监督数据集用于训练和微调模型；预训练和语言建模需要大量的无监督数据集。除了注释方法之外，每个数据集类型都有不同的规模、粒度和结构。

代码医生工作室

2021-11-16

9720

研究人员推出“Colossal-AI”：基于 PyTorch 的用于大规模并行训练的深度学习系统

分布式 https github git 网络安全

深度学习模型已经彻底改变了对 AI 的看法。其中一种类型是“转换器模型”，它采用一种注意力机制来区分输入数据的每个部分，并增加对那些被认为最重要的部分的权重——它主要用于 NLP 和计算机视觉 CV (1)。

代码医生工作室

2021-11-05

2.5K0

突破 PyTorch、TensorFlow 并行瓶颈的开源训练加速框架到底是啥？

编程算法开源分布式深度学习存储

随着摩尔定律的失效，单个计算单元的能力已经远远无法满足数据的指数级增长。比如，快手每天上传的新视频超过千万条，即便训练简单的分类模型（比如 ResNet），使用单机单卡的算力，训练快手日内新增视频都需要超过一百天的时间。因此，在数据爆炸性增长的互联网行业，多机多卡的并行训练成为了大数据时代的必然。随着深度学习模型功能的日益强大，分布式训练任务的通信成本和所需算力也随之急剧增长。

代码医生工作室

2021-10-19

4120

Hugging Face发布PyTorch新库「Accelerate」：适用于多GPU、TPU、混合精度训练

pytorch 分布式 api 容器

「Accelerate」提供了一个简单的 API，将与多 GPU 、 TPU 、 fp16 相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。

代码医生工作室

2021-04-23

1.8K0

深度学习框架哪家强？国产框架OneFlow做了一份测评报告

深度学习批量计算分布式性能测试

数据显示，OneFlow 在 4 机 32 卡下的 ResNet50-v1.5 和 BERT-base 两个模型中，无论是 Float32 类型还是自动混合精度，在同样的算法和硬件条件下，吞吐率及加速比均优于其他深度学习框架。

代码医生工作室

2021-01-14

1.4K0

Uber正式开源分布式机器学习平台：Fiber

python 分布式编程算法 api

作者 | Jiale Zhi，Rui Wang，Jeff Clune，Kenneth O. Stanley

代码医生工作室

2020-07-24

9570

PyTorch如何加速数据并行训练？分布式秘籍大揭秘

pytorch api mapreduce 分布式 python

在芯片性能提升有限的今天，分布式训练成为了应对超大规模数据集和模型的主要方法。本文将向你介绍流行深度学习框架 PyTorch 最新版本（ v1.5）的分布式数据并行包的设计、实现和评估。

代码医生工作室

2020-07-17

8610

使用RaySGD更快，更便宜的PyTorch

分布式 https 网络安全 tensorflow html

分发深度学习模型训练已经成为何时进行训练的问题，而不是如果这样做。最先进的ML模型（例如BERT）具有数亿个参数，而在一台机器上训练这些大型网络将花费数天甚至数周的时间。

代码医生工作室

2020-05-12

3.6K0

15分钟完成Kinetics视频识别训练，除了超级计算机你还需要TSM

分布式 https 网络安全

深度视频识别的计算成本比图像识别更高，尤其是在 Kinetics 等大规模数据集上。因此，为了处理大量视频，可扩展性训练是至关重要的。这篇论文研究了影响视频网络的可扩展性的因素。研究者认定了三个瓶颈，包括数据加载（从磁盘向 GPU 移动数据）、通信（在网络中移动数据）和计算速度（FLOPs）。

代码医生工作室

2019-10-10

9670

重磅！字节跳动开源高性能分布式训练框架BytePS：兼容TensorFlow、PyTorch等

分布式深度学习 pytorch https 开源

AI 前线导读：近日，字节跳动人工智能实验室宣布开源一款高性能分布式深度学习训练框架 BytePS，在性能上颠覆了过去几年 allreduce 流派一直占据上风的局面，超出目前其他所有分布式训练框架一倍以上的性能，且同时能够支持 Tensorflow、PyTorch、MXNet 等开源库。

代码医生工作室

2019-07-05

1.6K0

使用Wordbatch对Python分布式AI后端进行基准测试

spark python 批量计算分布式

在过去的几年里，Python已成为数据科学和人工智能的通用语言，所有使用Python作为主要界面语言的着名深度学习框架（Keras，Pytorch，MXNet）。与竞争语言相比，Python在DS和AI的几乎每个方面都可以与之竞争或超越：最新的机器学习算法及其高效实现（Scikit-Learn，LightGBM，XGBoost），数据处理和分析（Pandas，cuDF），高效的数值计算库（Numpy），PyPy，Numba），GPU计算（CuPY）和Web API编程（Flask，Celery）。

代码医生工作室

2019-07-05

1.5K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态