关于深度学习框架Hamaa与Python API文档生成工具Sophon

正文共1988个字,预计阅读时间12分钟。

前言

最近三个月我主要花时间在造一个轮子:深度学习库 Hamaa。

GitHub地址:GitHub : monitor1379/hamaa

文档地址:ReadTheDocs : hamaa.readthedocs.io

关于Hamaa的诞生

Hamaa源自于我当初的一个小想法。

当时我学习Deep Learning已有两个月,看了很多论文、教程与博客,于是尝试着去阅读Keras的源代码来学习别人是怎么实现的,尤其是back propagation这一块。

但是Keras的backend使用的是Theano/TensorFlow,这两个深度学习库都是“符号主义”派,这意味着神经网络的求导是自动的(autograd)。

所以最后还是决定硬啃论文和数学公式来重现,写着写着发现代码越来越多,添加一个网络层动辄就要修改数十行代码。突然某一天想到,为什么不学习Keras的API设计呢?于是在不断的重构中逐渐实现了模块化,也就有了现在的Hamaa。

Hamaa吸收了许多开源深度学习库的设计理念,比如Keras的API,Caffe的Blob/Layer/Net/Solver架构,TensorFlow/Theano的Operator求导机制(Hamaa中为手动实现Operator的forward/backward以实现自动求导)等等。

而我很高兴地说,在实现Hamaa的过程中,我深入了解与学习到了以下几点:

1、彻底弄懂了神经网络中全连接层、激活层、卷积层、池化层的backpropagation过程及其向量化(vectorization)实现。

2、了解到了softmax输出层为什么通常配合cross entropy损失函数以及negative log likelihood优化方法一起使用。

  • 了解到了神经网络权重初始化的原因与各种方法。
  • 学会了梯度下降法(Stochastic Gradient Descent)优化方法中,learning rate、momentum与decay参数对收敛速度与收敛稳定性的影响。
  • 有了一定的CNN调参经验。
  • 学会了卷积计算的加速方法: im2col与col2im。
  • 了解到TensorFlow的NHWC数据格式与Theano的NCHW数据格式之间的差异性。
  • 弄懂了在训练卷积神经网络时影响速度与内存的因素。
  • 学会了如何编写Python C Extension。
  • 学会使用以下工具链来发布一个完整的库:
    • Readthedocs:文档托管
    • Travis-CI:集成测试托管
    • Codecov:代码覆盖率统计托管
    • Sphinx:用reStructuredText写文档
    • MkDocs:用Markdown写文档
    • distutils:编译Python扩展
    • setuptools:分发包
    • nose:测试
    • pip:包管理
    • virtualenv:虚拟环境
    • coverage:代码覆盖率统计
    • Python工具:
    • 文档编写工具:
    • GitHub webhook:

鉴于我水平有限,在某些实现上难免会出现不足或错误之处。如果有读者发现了,十分欢迎在GitHub上提出issues或者发邮件到作者邮箱:yy4f5da2(at)hotmail.com。

后记

后续会写一些我在造轮子过程中的收获和踩过的一些坑。关于神经网络以及其BP过程网上有很多资料与教程,就不重复了。尽量会介绍更多关于神经网络框架的设计、卷积神经网络中卷积层与池化层的前向计算与后向传播过程公式推导等等。

另外,Hamaa其实已经完成了有一个月了,之所以拖了那么久才介绍是因为:

本来是打算用Sphinx+reStructuredText写API文档的,但是如果用Sphinx+reST写API文档,就意味着和Hamaa的其他Markdown文档有冲突。因为Hamaa的文档目前托管在ReadTheDocs上,而RTD只能要么使用Sphinx要么用MkDocs作为文档引擎。考虑到文档编写、网站外貌(Sphinx很强大,但是他的autodoc功能导出的API文档在RTD主题下实在有点丑),最终选择了MkDocs+Markdown来编写文档。

但是这样又有了另外一个问题,MkDocs没有autodoc功能。如果手动编写,就意味着我要同时保持代码中的注释与API文档中的介绍一致。

综上,纠结了3天之后,决定自己再造一个轮子:Python API文档自动生成工具——Sophon库就此诞生。更多关于Sophon的信息可以看:

GitHub地址:GitHub : monitor1379/sophon

文档地址:Sophon: monitor1379.github.com/sophon

原文链接:https://www.jianshu.com/p/b1e1c71c2504

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-05-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏祝威廉

算法训练和模型部署如何避免多次重写数据预处理代码

前段时间,我们对接算法的工程师哭丧的和我说,模型生成后一般都要部署成API的形态对外提供服务,但是算法工程师并没有提供如何将一条数据转化特征向量的方法,他能拿到...

12320
来自专栏腾讯云数据库(TencentDB)

腾讯云CDB的AI技术实践:CDBTune

CDBTune是腾讯云自主研发的数据库智能性能调优工具。它无需细分负载类型和积累大量样本,通过智能学习参与参数调优,获得较好的参数调优效果。

9.2K40
来自专栏AI研习社

Google正式发布TensorFlow Lite预览版,针对移动/嵌入设备的轻量级解决方案

日前,谷歌正式发布 TensorFlow Lite 开发者预览版,这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow Lite 是一种全新的设计,具...

33540
来自专栏机器之心

教程 | 如何构建自定义人脸识别数据集

在接下来的几篇博文中,作者将带领大家训练一个「计算机视觉+深度学习」的模型来执行人脸识别任务。但是,要想训练出能够识别图像或视频流中人脸的模型,我们首先得收集人...

22720
来自专栏Android开发实战

重磅实战:如何用TensorFlow在安卓设备上实现深度学习,附Demo和源码

对于个人和公司来说,存在许多状况是更希望在本地设备上做深度学习推断的:想象一下当你在旅行途中没有可靠的互联网链接时,或是要处理传输数据到云服务的隐私问题和延迟...

36430
来自专栏机器之心

「人工智能研学社· ML系统与架构小组」第一期:如何在单块GPU上训练超大型深度学习模型

机器之心原创 人工智能研学社 问题:GPU 内存限制 GPU 在深度神经网络训练之中的强大表现无需我赘言。通过现在流行的深度学习框架将计算分配给 GPU 来执...

39490
来自专栏null的专栏

智能算法——PageRank

一、PageRank的基本概念 1、PageRank的概念 PageRank,即网页排名算法,又称为网页级别算法,是由佩奇和布林在1997年提出来的链接分析...

32050
来自专栏算法channel

深入理解 TensorFlow :怎样的 AI 程序才是具备产品级的

目前市面上绝大多数的 TensorFlow 程序都基本可以称为玩具,那么,一个真正可以产品化的 TensorFlow 程序应该具有哪些的功能呢?

11200
来自专栏AI研习社

免费!有了这个资料合集轻松玩转TensorFlow !

近日,社长经历了几个不眠长夜,殚精竭力、呕心沥血地在网上搜集了诸多 TensorFlow 相关的文档、教程和数据包等学习和研发资料,总数超过 400M,打算一次...

29260
来自专栏机器之心

教程 | 如何用TensorFlow在安卓设备上实现深度学习推断

41850

扫码关注云+社区

领取腾讯云代金券