深度学习那些事儿-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

深度学习那些事儿

专栏成员

141

文章

481547

阅读量

59

订阅数

算法工程师老潘的一些经验

测试工程师模型数据算法

继续老潘的含泪经验，紧接着AI算法工程师的一些含泪经验（一），除了训练模型阶段的注意点，这次更多的是一些部署方面的经验，希望能够对大家有帮助。依然是抛砖引玉，持不同意见的小伙伴欢迎留言！

2023-10-19

5101

老潘的思考

编译器部署模型算法硬件

最近工作内容陷入了瓶颈，不知道自己想干啥了，总会有些重复性较强的工作。虽然也有些空闲时间看看其他东西，但发现看的东西越多，越发感到迷茫。不清楚自己该学什么，该看什么东西，或者说对自己未来的发展道路、发展方向有一点迷茫，不确定未来方向。

2023-10-19

4291

大大大大大模型部署方案抛砖引玉

开源部署测试量化模型

借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景可以针对去训练），并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个超级重要的工程问题，很多公司也在紧锣密鼓的搞着。目前效果最好讨论最多的开源实现就是LLAMA，所以我这里讨论的也是基于LLAMA的魔改部署。基于LLAMA的finetune模型有很多，比如效果开源最好的vicuna-13b和较早开始基于llama做实验的alpaca-13b，大家可以看：

2023-10-19

1.3K0

深度学习部署神器-triton inference server第一篇

深度学习 server 编译部署模型

老潘用triton有两年多了，一直想写个教程给大家。顺便自己学习学习，拖了又拖，趁着这次换版本的机会，终于有机会了写了。

2023-10-19

3K1

一起实践神经网络量化系列教程（一）！

神经网络教程量化模型实践

老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。

2023-10-19

1.3K0

AI部署系列：你知道模型权重的小秘密吗？？？

神经网络 self 部署模型优化

深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随机初始化权重，同样能够得到一个同样大小的模型。虽然两者大小一样，不过两者其中的权重信息分布相差会很大，一个脑子装满了知识、一个脑子都是水，差不多就这个意思。

2023-10-19

1.6K0

馋了馋NVIDIA Jetson Orin嵌入式AI开发板

嵌入式 nvidia 量化数据性能

最近疯狂迷恋（想买）Jetson Orin，也就是NVIDIA今年新发布的嵌入式AI开发板。这玩意儿今年3、4月份开始正式销售，官方售价1999美刀，国内嘛，估计16000左右。性能很美丽，价格当然也很美丽。

2023-10-19

1.6K0

老潘的笔记本环境配置

镜像开发内核配置系统

前一阵子买了个新的笔记本电脑，幻13-3050TI-1T版本，全能本，CPU是8核心16线程的标压版AMD锐龙9-5900HS，显卡是NVIDIA-3050TI，重量和macbook差不多，都是1.4kg，便携、可以改变形态。

2023-10-19

5540

一起实践量化番外篇——TensorRT-8的量化细节

scale 量化模型实践优化

本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节，就趁这次机会讲一下。

2023-10-19

3.1K0

终于把TensorRT的engine模型的结构图画出来了！

layer percentage scale 模型优化

可以看到很多层被融合了，比如conv1.weight + QuantizeLinear_7_quantize_scale_node + Conv_9 + Relu_11这个部分。也有没有被融合的，比如MaxPool_12。另外QuantizeLinear这个量化算子，可能有些童鞋没有见过，大家可以把它当做一个层就可以。

2023-10-19

6060

实践torch.fx第一篇——基于Pytorch的模型优化量化神器

pytorch 量化模型实践优化

今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：

2023-10-19

1.2K0

实践torch.fx第一篇——基于Pytorch的模型优化量化神器

pytorch 量化模型实践优化

今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：

2023-10-19

1K0

TORCH.FX第二篇——PTQ量化实操

torch 量化模型数据优化

本文紧接上一篇《实践torch.fx第一篇——基于Pytorch的模型优化量化神器》继续说，主要讲如何利用FX进行模型量化。

2023-10-19

2.1K0

关于numpy.array和列表list的区别

numpy list 数据数据类型数组

某一天写代码的时候突然遇到一个场景，需要批量对标注信息box进行操作(box包括[x1,y1,x2,y2])。

2023-10-19

1670

Mac mini M1使用体验(编程、游戏、深度学习)

深度学习游戏 mac 编程芯片

前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。

2023-10-19

1.3K0

简易大西瓜魔改教程

游戏教程浏览器手机源码

github源码地址:https://github.com/Oldpan/bigWatermelon/tree/master

2023-10-19

2200

咱不知道的动态链接库小细节

编译程序函数内存系统

动态链接库(又简称动态库)是很多工程项目中不可缺少的一部分。俗称.so文件(姑且就以linux系统为例，在windows中称为dll，在mac中为的dylib)，在平时的使用中我们对其察觉可能并不是很深，但其实我们玩电脑的时候无时不刻在使用动态链接库。

2023-10-19

1K0

TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！

开源工具模型入门优化

作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。

2023-10-19

10.5K1

想提速但TensorRT的FP16不得劲？怎么办？在线支招！

测试函数模型网络优化

前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。

2023-10-19

1.5K0

VSCODE的remote-ssh没想到这么好用

ssh 远程调试插件服务器连接

推荐一个VSCode的插件:Remote-SSH，如果你的代码在服务器上，不想将服务器代码下下来而是远程调试。可以通过这个插件代替vim的功能，编辑和运行服务器上的代码，还可以远程debug(C++和python都可以)。

2023-10-19

1.1K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态