腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

磐创AI技术团队的专栏

定期分享机器学习深度学习相关优质原创文章

专栏作者

714

文章

978634

阅读量

123

订阅数

Pytorch中的Distributed Data Parallel与混合精度训练（Apex）

pytorch 分布式

Distributed data parallel training in Pytorchyangkky.github.io

2021-01-12

1K0

深度解读：让你掌握OneFlow框架的系统设计(中篇)

数据结构打包分布式

本文是OneFlow系统设计分享系列文章的中篇，主要介绍OneFlow的编译期Compiler如何将Job编译为Plan的。其中最精华的部分是OneFlow的Boxing模块，负责构建两个逻辑上的Op对应的两组物理上的Op在任意情形下的物理子图，完成了分布式训练中各个机器各个设备之间的数据拷贝、切分、传输、通信的子图搭建。

2021-01-12

8451

一文教你在Colab上使用TPU训练模型

https 网络安全 tensorflow css 分布式

Google Colab免费为TPUs提供实验支持！在本文中，我们将讨论如何在Colab上使用TPU训练模型。具体来说，我们将通过在TPU上训练huggingface transformers库里的BERT来进行文本分类。

2020-09-14

5.2K0

就想写个爬虫，我到底要学多少东西啊？

爬虫分布式网站 scrapy ajax

但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一起。正因为涵盖的方向多，因此学习的东西也非常零散和杂乱，很多初学者搞不清楚究竟要学习哪些知识，学习过程中遇到反爬也不知道用什么方法来解决，本篇我们来做一些归纳和总结。

2020-03-05

1.1K0

PySpark初级教程——第一步大数据分析(附代码实现)

神经网络机器学习深度学习人工智能分布式

我们正在以前所未有的速度生成数据。老实说，我跟不上世界各地里产生的巨大数据量!我敢肯定你已经了解过当今时代数据的产量。McKinsey, Gartner, IBM,等公司都给出了他们公司的数据。

2019-11-18

4.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态