前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >《动手学深度学习》Pytorch版开源!

《动手学深度学习》Pytorch版开源!

作者头像
double
发布2019-12-30 14:49:41
1.2K0
发布2019-12-30 14:49:41
举报
文章被收录于专栏:算法channel算法channel

机器之心报道

项目作者:ShusenTang

参与:思

想要入门最前沿的深度学习,想要玩最常见的深度学习框架?那就用 PyTorch 版的《动手学深度学习》吧,零基础也能入门 DL。

李沐等人的开源中文书《动手学深度学习》现在有 PyTorch 版实现了。不论是原书中的示例代码,还是实战项目,原来的 MXNet 都可以无缝转化到 PyTorch 代码。项目作者在保持原书内容基本不变的情况下,将 MXNet 代码都转换为了 PyTorch,想要学习 DL 和 PyTorch 的小伙伴们可以试试啊。

  • 项目地址:https://github.com/ShusenTang/Dive-into-DL-PyTorch

近年来,不论是计算机专业的学生,还是已在科技互联网行业从业多年的技术人员和其他从业者,人们对深度学习的兴趣从未如此高涨。但是,由于语言等因素,中文版本的优秀深度学习教材也是凤毛麟角。

之前,亚马逊首席科学家李沐等人曾以电子版的形式在 GitHub 上开源了一本深度学习中文书籍——《动手学深度学习》,这是一本深度学习的入门教程类书籍。其英文版被 UC 伯克利「深度学习导论(STAT 157)」课程采用,2019 年李沐等在教授深度学习课程时也使用了这本教程。

  • 中文版开源地址:https://github.com/d2l-ai/d2l-zh

目前,该项目在 GitHub 上已获得超过 1.1 万星,并且中文版电子书还发布了纸质版书籍。不过虽然书籍非常优秀,但还是有一些读者不太习惯用 Gluon 来写代码,毕竟开源项目大部分都是 TF 或 PyTorch 写的。现在好了,我们可以直接结合书籍内容和 PyTorch 框架,更深入地理解 DL。

项目怎么样

项目作者表示,该仓库主要包含 code 和 docs 两个文件夹。其中 code 文件夹就是每章相关 jupyter notebook 代码(基于 PyTorch);docs 文件夹就是 markdown 格式的《动手学深度学习》书中的相关内容,它也是基于 PyTorch 的。

由于原书内容使用的是 MXNet 框架,所以 docs 内容可能与原书略有不同,但是整体内容是一样的。如下所示为 docs 目录下的文档,它一共包含十章,大部分内容已经非常完整了,即 1-8 章和第 10 章,只有第 9 章计算机视觉还在继续补全中。

其实新项目的内容结构与组织方式和原书是一样的,上面展示的 docs 目录主要可以分为三部分:基础知识(1-3 章)、现代深度学习技术(4-6 章)、计算性能与应用(7-10)。如下所示为全书不同章节的主题与依赖关系,箭头表示上一章有助于理解下一章。

除了内容,另一大部分就是实战代码了,随书代码基本都转化为了 PyTorch,它如同原书一样也是用 Jupyter Notebook 写的,这样更好地展示代码与文字解释。因为 GitHub 加载 Jupyter Notebook 挺慢的,所以最好还是下到本地查阅。

最后,《动手学深度学习》与 PyTorch 也是非常好的搭档,也就是说我们不需要任何机器学习或深度学习背景知识,只需要了解基本数学与 Python 编程就可以了。

从 MXNet 到 PyTorch

这样看起来可能不太直观,我们可以通过两个案例看看原版《动手学深度学习》随书代码和 PyTorch 版之间的区别。如果我们抽取使用循环神经网络构建语言模型的分布代码,就能看看原版 Gluon 和新版 PyTorch 之间的区别。

如下是原书采用 RNN 建模语言模型的部分代码(原书 6.5 章),我们主要抽取了模型定义部分:

如上可以改写为对应的 PyTorch 代码,它们的风格虽然都非常简洁,但还是有一些不同的。

最新报道:目前已经更新至第10章节:

  • 简介
  • 阅读指南
  • 1. 深度学习简介
  • 2. 预备知识
    • 2.1 环境配置
    • 2.2 数据操作
    • 2.3 自动求梯度
  • 3. 深度学习基础
    • 3.1 线性回归
    • 3.2 线性回归的从零开始实现
    • 3.3 线性回归的简洁实现
    • 3.4 softmax回归
    • 3.5 图像分类数据集(Fashion-MNIST)
    • 3.6 softmax回归的从零开始实现
    • 3.7 softmax回归的简洁实现
    • 3.8 多层感知机
    • 3.9 多层感知机的从零开始实现
    • 3.10 多层感知机的简洁实现
    • 3.11 模型选择、欠拟合和过拟合
    • 3.12 权重衰减
    • 3.13 丢弃法
    • 3.14 正向传播、反向传播和计算图
    • 3.15 数值稳定性和模型初始化
    • 3.16 实战Kaggle比赛:房价预测
  • 4. 深度学习计算
    • 4.1 模型构造
    • 4.2 模型参数的访问、初始化和共享
    • 4.3 模型参数的延后初始化
    • 4.4 自定义层
    • 4.5 读取和存储
    • 4.6 GPU计算
  • 5. 卷积神经网络
    • 5.1 二维卷积层
    • 5.2 填充和步幅
    • 5.3 多输入通道和多输出通道
    • 5.4 池化层
    • 5.5 卷积神经网络(LeNet)
    • 5.6 深度卷积神经网络(AlexNet)
    • 5.7 使用重复元素的网络(VGG)
    • 5.8 网络中的网络(NiN)
    • 5.9 含并行连结的网络(GoogLeNet)
    • 5.10 批量归一化
    • 5.11 残差网络(ResNet)
    • 5.12 稠密连接网络(DenseNet)
  • 6. 循环神经网络
    • 6.1 语言模型
    • 6.2 循环神经网络
    • 6.3 语言模型数据集(周杰伦专辑歌词)
    • 6.4 循环神经网络的从零开始实现
    • 6.5 循环神经网络的简洁实现
    • 6.6 通过时间反向传播
    • 6.7 门控循环单元(GRU)
    • 6.8 长短期记忆(LSTM)
    • 6.9 深度循环神经网络
    • 6.10 双向循环神经网络
  • 7. 优化算法
    • 7.1 优化与深度学习
    • 7.2 梯度下降和随机梯度下降
    • 7.3 小批量随机梯度下降
    • 7.4 动量法
    • 7.5 AdaGrad算法
    • 7.6 RMSProp算法
    • 7.7 AdaDelta算法
    • 7.8 Adam算法
  • 8. 计算性能
    • 8.1 命令式和符号式混合编程
    • 8.2 异步计算
    • 8.3 自动并行计算
    • 8.4 多GPU计算
  • 9. 计算机视觉
    • 9.9 语义分割和数据集
    • 9.10 全卷积网络(FCN)
    • 9.11 样式迁移
    • 9.12 实战Kaggle比赛:图像分类(CIFAR-10)
    • 9.13 实战Kaggle比赛:狗的品种识别(ImageNet Dogs)
    • 9.8 区域卷积神经网络(R-CNN)系列
    • 9.7 单发多框检测(SSD)
    • 9.1 图像增广
    • 9.2 微调
    • 9.3 目标检测和边界框
    • 9.4 锚框
    • 9.5 多尺度目标检测
    • 9.6 目标检测数据集(皮卡丘)
  • 10. 自然语言处理
    • 10.1 词嵌入(word2vec)
    • 10.2 近似训练
    • 10.3 word2vec的实现
    • 10.4 子词嵌入(fastText)
    • 10.5 全局向量的词嵌入(GloVe)
    • 10.6 求近义词和类比词
    • 10.7 文本情感分类:使用循环神经网络
    • 10.8 文本情感分类:使用卷积神经网络(textCNN)
    • 10.9 编码器—解码器(seq2seq)
    • 10.10 束搜索
    • 10.11 注意力机制
    • 10.12 机器翻译
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-12-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序员郭震zhenguo 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档