首页
学习
活动
专区
工具
TVP
发布

深度学习那些事儿

专栏作者
141
文章
379869
阅读量
56
订阅数
一起实践神经网络量化系列教程(一)!
老潘刚开始接触神经网络量化是2年前那会,用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化(训练后量化)模式,使用交叉熵的方式对模型进行量化,最终在树莓派3B+上部署一个简单的分类模型(识别剪刀石头布静态手势)。
老潘
2023-10-19
5310
AI部署系列:你知道模型权重的小秘密吗???
深度学习中,我们一直在训练模型,通过反向传播求导更新模型的权重,最终得到一个泛化能力比较强的模型。同样,如果我们不训练,仅仅随机初始化权重,同样能够得到一个同样大小的模型。虽然两者大小一样,不过两者其中的权重信息分布相差会很大,一个脑子装满了知识、一个脑子都是水,差不多就这个意思。
老潘
2023-10-19
3920
图像、神经网络优化利器:了解Halide
Halide是用C++作为宿主语言的一个图像处理相关的DSL(Domain Specified Language)语言,全称领域专用语言。主要的作用为在软硬层面上(与算法本身的设计无关)实现对算法的底层加速,我们有必要对其有一定的了解。因为不论是传统的图像处理方法亦或是深度学习应用都使用到了halide的思想。
老潘
2023-10-19
2430
我们来谈谈ONNX的日常
为什么要说ONNX,ONNX又是个什么东西,经常要部署神经网络应用的童鞋们可能会ONNX会比较熟悉,我们可能会在某一任务中将Pytorch或者TensorFlow模型转化为ONNX模型(ONNX模型一般用于中间部署阶段),然后再拿转化后的ONNX模型进而转化为我们使用不同框架部署需要的类型。
老潘
2023-10-19
3970
利用TensorRT实现神经网络提速(读取ONNX模型并运行)
在之前已经写到过一篇去介绍什么是TensorRT:利用TensorRT对深度学习进行加速,这篇文章中大概已经基本讨论了TensorRT究竟是个什么东西以及怎么使用它。
老潘
2023-10-19
1.2K0
一步一步解读神经网络编译器TVM(一)——一个简单的例子
这是一个TVM教程系列,计划从TVM的使用说明,再到TVM的内部源码,为大家大致解析一下TVM的基本工作原理。因为TVM的中文资料比较少,也希望贡献一下自己的力量,如有描述方面的错误,请及时指出。
老潘
2023-10-19
6300
一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署
在上一篇文章中<一步一步解读神经网络编译器TVM(一)——一个简单的例子>,我们简单介绍了什么是TVM以及如何利用Relay IR去编译网络权重然后并运行起来。
老潘
2023-10-19
4690
警惕!损失Loss为Nan或者超级大的原因
训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况:
老潘
2023-10-19
1.5K0
如何根据训练/验证损失曲线诊断我们的CNN
在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中,我们大概描述了大部分所有可能在训练神经网络中使用的技巧,这对如何提升神经网络的准确度是很有效的。
老潘
2023-10-19
4450
关于训练神经网路的诸多技巧Tricks(完全总结版)
很多人都说训练神经网络和炼金术师炼药的过程相像,难以破解其中的黑盒子。其实不然,在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果,从而帮助我们的任务取得不错的精度,这些技巧是训练神经网络不可缺少的一环。
老潘
2023-10-19
2340
非线性激活层:RELU还是LRELU?
RELU(rectified linear unit)是线性整流单元,与Sigmoid类似但是比Sigmoid好用很多(减缓梯度消失现象)。因为其在输入为负值时强制转化为0,因此属于非线性的激活函数,在神经网络中是最常见的激活函数。
老潘
2023-10-19
2290
生动形象好玩的深度学习资源推荐(一)
偶尔翻翻深度学习方面的新闻信息,不得不再次感慨:深度学习真的是太好玩了!兴趣最重要,抛开深度学习玄妙复杂的内涵不谈,我们不应该咱直接被其复杂公式和理论而吓退。相反,让我们来看看利用深度学习完成的好玩的应用,寓教于乐,在兴趣中学习才是最关键的。
老潘
2023-10-19
1270
吴恩达-Machine learning Yearning-机器学习训练秘籍-中文完整版
吴恩达的新书出来了,在之前的文章中已经提到过了 吴恩达机器学习新书:MACHINE LEARNING YEARNING免费获取
老潘
2023-10-19
2170
NVIDIA关于AI部署的最新技术(附资料)
不得不相信英伟达总能给我们惊喜,老潘作为一名深度学习从业者以及游戏爱好者,对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达,我们自然熟悉的不能再熟悉了。
老潘
2021-08-22
1.4K0
解密Deepfake(深度换脸)-基于自编码器的(Pytorch代码)换脸技术
还记得在2018月3月份火爆reddit的deepfake吗?将视频中的头换成另一个人的头像,虽然可能有些粗糙和模糊,但是在分辨率不要求很高的情况下可以达到以假乱真的效果。
老潘
2019-01-23
3.6K0
我的模型能跑多快——神经网络模型速度调研(一)
对于神经网络,我们更多谈的是其精度怎么样,有百分之零点几的提升。但是如果谈到速度的话,深度学习神经网络相比于传统的算法来说,速度恐怕没有那么快了。
老潘
2018-12-17
4.8K0
深度学习为什么需要那么多的数据?
深度学习近两年来发展极为迅速,在计算能力大大提高的情况下,很多深度学习方向的思想都得以实现。但是,深度学习有一个令人头疼的缺点,那就是需要大量样本来进行训练才能达到较好的泛化。
老潘
2018-08-01
6820
理解深度学习:与神经网络相似的网络-自编码器(上)
本篇文章可作为<利用变分自编码器实现深度换脸(DeepFake)>(稍后放出)的知识铺垫。
老潘
2018-07-17
1K0
一篇文章解决机器学习,深度学习入门疑惑
研究生有不少日子,和之前的几个学长以及几个学弟偶尔也聊聊天。大部分聊的话题无关乎这几年大火的机器学习深度学习神经网络,而这篇文章的目的,则是从学生的角度(不管是研究生还是即将步入研究生的本科生)来看待这个大方向和大趋势,也是为了替那些刚入门或者准备入门机器学习、深度学习、计算机视觉、图像处理、语音识别及处理等等等相关方向的童鞋,或者研一童鞋学习相关方向迷茫者了清一些基本的概念,以及解决这些“名词”代表什么,应该怎么选择,怎么入门的问题,毕竟谁当年也迷茫过,多一些传承,就少走一些弯路。
老潘
2018-06-21
1.3K0
浅谈Pytorch与Torch的关系
Pytorch发布已经有一段时间了,我们在使用中也发现了其独特的动态图设计,让我们可以高效地进行神经网络的构造、实现我们的想法。那么Pytorch是怎么来的,追根溯源,pytorch可以说是torch的python版,然后增加了很多新的特性,那么pytorch和torch的具体区别是什么,这篇文章大致对两者进行一下简要分析,有一个宏观的了解。
老潘
2018-06-04
54.4K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档