用C++仿写了一个玩具版深度学习框架

作为对《深度学习入门2--自制框架》的实践，用C++仿写了一个玩具版深度学习框架：TinyLearning。原书用Python语言及NumPy库构建了一个极简的深度学习框架，为什么还要用C++来重复造一个轮子呢？记得高中数学老师对我影响最深的一句话是“一看就会，一做就错”，不管是数学还是编程，当接触到新的知识时，只看不练实际上是很难真正学会的。所以在看完《自制框架》后就决定实作一番，至于语言选择，肯定不能选择Python，否则就相当于照书抄一篇，毫无意义；然后我想到了Go语言，但Go语言缺乏运算符和函数重载，不管是写起来还是后面使用这个框架都积极不方便，在我所熟悉的编程语言中就剩下C/C++了；再者，得益于C++强大的性能，它任是开发底层基础软件不二的选择，比如当今最强大最流行的两大深度学习框架Tensor Flow和PyTorch都毫无例外的选择了C++作为底层开发语言。

虽然TinyLearning总体来说是按照《自制框架》中的Python实现完成的，但实际上还是有个最重要的差别：书中使用了NumPy这一功能强大且高效的张量库，而TinyLearning并未使用第三方库，而是从头实现了一个简单的张量库，当然功能和性能无法望NumPy的项背，高性能并不是当下的目标，目前需要保持代码简单易懂。‍‍‍‍‍‍‍‍

TinyLearning虽然代码量很小，但实现了现代深度学习框架必备的根据动态计算图自动微分的功能。当然还有很多功能未实现，比如静态计算图、GPU支持和分布式训练等新一代框架所必备的核心功能。‍‍‍‍‍

下图是用TinyLearning可视化的计算图。‍‍