首页
学习
活动
专区
工具
TVP
发布

深度学习那些事儿

专栏作者
141
文章
369027
阅读量
55
订阅数
算法工程师老潘的一些经验
继续老潘的含泪经验,紧接着AI算法工程师的一些含泪经验(一),除了训练模型阶段的注意点,这次更多的是一些部署方面的经验,希望能够对大家有帮助。依然是抛砖引玉,持不同意见的小伙伴欢迎留言!
老潘
2023-10-19
2540
老潘的思考
最近工作内容陷入了瓶颈,不知道自己想干啥了,总会有些重复性较强的工作。虽然也有些空闲时间看看其他东西,但发现看的东西越多,越发感到迷茫。不清楚自己该学什么,该看什么东西,或者说对自己未来的发展道路、发展方向有一点迷茫,不确定未来方向。
老潘
2023-10-19
2160
大大大大大模型部署方案抛砖引玉
借着热点,简单聊聊大模型的部署方案,作为一个只搞过CV部署的算法工程师,在最近LLM逐渐改变生活的大背景下,猛然意识到LLM部署也是很重要的。大模型很火,而且确实有用(很多垂类场景可以针对去训练),并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个超级重要的工程问题,很多公司也在紧锣密鼓的搞着。 目前效果最好讨论最多的开源实现就是LLAMA,所以我这里讨论的也是基于LLAMA的魔改部署。 基于LLAMA的finetune模型有很多,比如效果开源最好的vicuna-13b和较早开始基于llama做实验的alpaca-13b,大家可以看:
老潘
2023-10-19
5020
深度学习部署神器-triton inference server第一篇
老潘用triton有两年多了,一直想写个教程给大家。顺便自己学习学习,拖了又拖,趁着这次换版本的机会,终于有机会了写了。
老潘
2023-10-19
9320
一起实践神经网络量化系列教程(一)!
老潘刚开始接触神经网络量化是2年前那会,用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化(训练后量化)模式,使用交叉熵的方式对模型进行量化,最终在树莓派3B+上部署一个简单的分类模型(识别剪刀石头布静态手势)。
老潘
2023-10-19
4330
AI部署系列:你知道模型权重的小秘密吗???
深度学习中,我们一直在训练模型,通过反向传播求导更新模型的权重,最终得到一个泛化能力比较强的模型。同样,如果我们不训练,仅仅随机初始化权重,同样能够得到一个同样大小的模型。虽然两者大小一样,不过两者其中的权重信息分布相差会很大,一个脑子装满了知识、一个脑子都是水,差不多就这个意思。
老潘
2023-10-19
3030
馋了馋NVIDIA Jetson Orin嵌入式AI开发板
最近疯狂迷恋(想买)Jetson Orin,也就是NVIDIA今年新发布的嵌入式AI开发板。 这玩意儿今年3、4月份开始正式销售,官方售价1999美刀,国内嘛,估计16000左右。 性能很美丽,价格当然也很美丽。
老潘
2023-10-19
4490
老潘的笔记本环境配置
前一阵子买了个新的笔记本电脑,幻13-3050TI-1T版本,全能本,CPU是8核心16线程的标压版AMD锐龙9-5900HS,显卡是NVIDIA-3050TI,重量和macbook差不多,都是1.4kg,便携、可以改变形态。
老潘
2023-10-19
3160
一起实践量化番外篇——TensorRT-8的量化细节
本文接着《必看部署系列-神经网络量化教程:第一讲!》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节,不过有一段时间在做基于TensorRT的量化,需要看下TensorRT的量化细节,就趁这次机会讲一下。
老潘
2023-10-19
6590
终于把TensorRT的engine模型的结构图画出来了!
可以看到很多层被融合了,比如conv1.weight + QuantizeLinear_7_quantize_scale_node + Conv_9 + Relu_11这个部分。也有没有被融合的,比如MaxPool_12。另外QuantizeLinear这个量化算子,可能有些童鞋没有见过,大家可以把它当做一个层就可以。
老潘
2023-10-19
2320
实践torch.fx第一篇——基于Pytorch的模型优化量化神器
今天聊一下比较重要的torch.fx,也趁着这次机会把之前的torch.fx笔记整理下,笔记大概拆成三份,分别对应三篇:
老潘
2023-10-19
3610
实践torch.fx第一篇——基于Pytorch的模型优化量化神器
今天聊一下比较重要的torch.fx,也趁着这次机会把之前的torch.fx笔记整理下,笔记大概拆成三份,分别对应三篇:
老潘
2023-10-19
3040
TORCH.FX第二篇——PTQ量化实操
本文紧接上一篇《实践torch.fx第一篇——基于Pytorch的模型优化量化神器》继续说,主要讲如何利用FX进行模型量化。
老潘
2023-10-19
5070
关于numpy.array和列表list的区别
某一天写代码的时候突然遇到一个场景,需要批量对标注信息box进行操作(box包括[x1,y1,x2,y2])。
老潘
2023-10-19
850
Mac mini M1使用体验(编程、游戏、深度学习)
前一阵子忍不住剁手买了M1芯片的mac mini,为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上,之前的工作也就由mbp2017彻底换成mac mini了,要换就换彻底点,不要给自己了留后路,哼。
老潘
2023-10-19
6690
简易大西瓜魔改教程
github源码地址:https://github.com/Oldpan/bigWatermelon/tree/master
老潘
2023-10-19
1460
咱不知道的动态链接库小细节
动态链接库(又简称动态库)是很多工程项目中不可缺少的一部分。俗称.so文件(姑且就以linux系统为例,在windows中称为dll,在mac中为的dylib),在平时的使用中我们对其察觉可能并不是很深,但其实我们玩电脑的时候无时不刻在使用动态链接库。
老潘
2023-10-19
3750
TensorRT详细入门指北,如果你还不了解TensorRT,过来看看吧!
作为在英伟达自家GPU上的推理库,这些年来一直被大力推广,更新也非常频繁,issue反馈也挺及时,社区的负责人员也很积极,简直不要太NICE。
老潘
2023-10-19
9780
想提速但TensorRT的FP16不得劲?怎么办?在线支招!
前些天尝试使用TensorRT转换一个模型,模型用TensorFlow训练,包含LSTM+Transform+CNN,是一个典型的时序结构模型,包含编码解码结构,暂称为debug.onnx吧。
老潘
2023-10-19
6680
VSCODE的remote-ssh没想到这么好用
推荐一个VSCode的插件:Remote-SSH,如果你的代码在服务器上,不想将服务器代码下下来而是远程调试。可以通过这个插件代替vim的功能,编辑和运行服务器上的代码,还可以远程debug(C++和python都可以)。
老潘
2023-10-19
3830
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档