腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

GiantPandaCV

专栏作者

698

文章

858302

阅读量

93

订阅数

nndeploy - 一款开源的模型端到端部署框架

框架模型内存开源部署

项目地址：https://github.com/DeployAI/nndeploy 欢迎star和PR

2024-04-12

940

3D内容创作新篇章：DREAMGAUSSIAN技术解读，已开源

算法优化渲染开源模型

本文从自动三维数字内容创建的研究背景入手，探讨了这一领域在数字游戏、广告、电影以及元宇宙等多个领域的应用前景。特别强调了图像到3D和文本到3D这两种核心技术如何通过减少专业艺术家的手动劳动需求，以及赋予非专业用户参与3D资产创建的能力，带来显著优势。文章借鉴了2D内容生成领域的最新突破，讨论了3D内容创建领域的快速发展，将现有的研究分为两大类：仅推理的3D原生方法和基于优化的2D提升方法。

2024-03-07

2220

星辰AI大模型TeleChat-7B评测

测试工作模型出行开源

受中电信 AI 科技有限公司的邀请，为他们近期开源的TeleChat-7B大模型做一个评测。

2024-02-22

2360

AI Infra论文阅读之将流水线并行气泡几乎降到零（附基于Meagtron-LM的ZB-H1开源代码实现解读）

内存优化开源 lm 论文

这篇论文对应的链接为：https://openreview.net/pdf?id=tuzTN0eIO5 ，最近被ICLR 2024接收，但不少AI Infra的同行已经发现了这个工作的价值，并且已经开源在 https://github.com/sail-sg/zero-bubble-pipeline-parallelism ，在一些AI Infra相关的地方也存在一些讨论和介绍。比如 https://www.zhihu.com/question/637480969/answer/3354692418

2024-02-22

2750

CVPR2023开源SOTA！用于实时激光雷达全景分割的中心聚焦网络

开源汽车编码框架网络

文章标题：Center Focusing Network for Real-Time LiDAR Panoptic Segmentation

2023-11-28

3310

ICCV2023开源 DistillBEV：巧妙利用跨模态知识蒸馏方法，斩获目标检测SOTA！

开源对象模型网络性能

目前基于多相机BEV的三维目标检测方法与基于激光雷达的方法还存在明显的性能差距，这是由于激光雷达可以捕获精确的深度和几何信息，而仅从图像中推断三维信息具有挑战性。文章提出了一种跨模态知识蒸馏方法DistillBEV ，通过让学生模型(基于多相机BEV)模仿教师模型(基于激光雷达)的特征，实现多相机三维检测的性能提升。提出了区域分解、自适应缩放、空间注意力等机制进行平衡，并扩展到多尺度层和时序信息的融合。在nuScenes数据集上验证了方法的有效性，多个学生模型都获得了显著提升，优于其他蒸馏方法和当前多相机三维检测SOTA。特别是BEVFormer的mAP提升达4.4% ，NDS提升4.2%。这种跨模态的知识蒸馏为弥合多相机三维检测与激光雷达检测的差距提供了新的思路。方法具有通用性，可广泛应用于包括CNN和Transformer的各种学生模型。是自动驾驶领域一个值得关注的进展。未来可将该方法推广到其他多相机三维感知任务，如分割、跟踪等；结合更多传感器进行跨模态融合；探索其他表示学习与迁移的方式等。三维环境理解仍需持续努力，期待跨模态学习带来更大突破。

2023-10-19

4760

“北大-鹏城-腾讯”新视角：从势能的角度探讨模型的可迁移性-ICCV2023开源

开源迁移学习模型数据腾讯

随着大规模数据集预训练模型的广泛应用，迁移学习已成为计算机视觉任务中的关键技术。但是，从大量的预训练模型库中为特定下游任务选择最优的预训练模型仍然是一个挑战。现有的方法主要依赖于编码的静态特征与任务标签之间的统计相关性来测量预训练模型的可迁移性，但它们忽略了微调过程中潜在的表示动力学的影响，导致结果不可靠，尤其是对于自监督模型。在本文中，我们从潜在能量的角度提出了一种新颖的方法——PED，来解决这些挑战。我们将迁移学习动力视为降低系统潜在能量的过程，并直接对影响微调动力学的相互作用力进行物理学建模。通过在物理驱动模型中捕获动态表示的运动来降低潜在能量，我们可以获得增强和更稳定的观测结果来估计可迁移性。在10个下游任务和12个自监督模型上的实验结果表明，我们的方法可以顺利集成到现有的优秀技术中，增强它们的性能，这揭示了它在模型选择任务中的有效性和发掘迁移学习机制的潜力。我们的代码将在https://github.com/lixiaotong97/PED上开源。

2023-09-08

4150

thinktwice：用于端到端自动驾驶的可扩展解码器（已开源）

自动驾驶开源模型数据性能

题目：Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving

2023-08-22

1850

《YOLOv5全面解析教程》十三，downloads.py 详细解析

python github git 开源

是一个工具类，代码比较简单，函数也比较少，主要难点还是在于一些包可能大家不是很熟悉，下面一起来学习下。

2023-01-01

1K0

自制深度学习推理框架-前言-第一课

github git 开源

很高兴GiantPandaCV和傅莘莘同学达成合作，将连载由他原创制作的自制深度学习推理框架课程系列，这篇是本系列的开篇。第一课对应的视频和课件放在下方了。github链接：https://github.com/zjhellofss/KuiperInfer

2022-12-29

6850

TVM 学习指南（个人版）

https 网络安全 github git 开源

最近粗略的看完了天奇大佬的MLC课程（顺便修了一些语法和拼写错误，也算是做了微弱的贡献hh），对TVM的近期发展有了一些新的认识。之前天奇大佬在《新一代深度学习编译技术变革和展望》一文中（链接：https://zhuanlan.zhihu.com/p/446935289）讲解了TVM Unify也即统一多层抽象的概念。这里的统一多层抽象具体包括AutoTensorization用来解决硬件指令声明和张量程序对接，TVM FFI（PackedFunc）机制使得我们可以灵活地引入任意的算子库和运行库函数并且在各个编译模块和自定义模块里面相互调用。TensorIR负责张量级别程序和硬件张量指令的整合。Relax (Relax Next) 引入relay的进一步迭代，直接引入first class symbolic shape的支持（摘抄自《新一代深度学习编译技术变革和展望》一文）。然后这些抽象可以相互交互和联合优化来构造深度学习模型对应的最终部署形式。我个人感觉TVM Unify类似于MLIR的Dialect，但是这几个抽象的直接交互能力相比于MLIR的逐级lower我感觉是更直观方便的，毕竟是Python First（这个只是我最近看MLC课程的一个感觉）。对这部分内容感兴趣的读者请查看天奇大佬的TVM Unify介绍原文以及MLC课程。

2022-09-28

2.7K0

【社区实践】为 TVM 新增 OneFlow 前端

https 网络安全 github git 开源

去年在Summer Code的时候我刚好开始入门 TVM（虽然现在仍然也还是入门阶段，没做过什么有意义的工作），并且恰好来到OneFlow 工作就想着给 TVM 添加一个 OneFlow 前端。但可惜在 Summer Code 发起了这个项目后因为系统选人的 BUG 导致没有选到合适的候选人。后来我私下联系了申请这个项目的第二位候选人胡伽魁同学问他是否愿意来 OneFlow 实习并花1-2个月完成这件事，他同意了并在实习期间做了一个初版出来。感谢胡伽魁同学的贡献。

2022-05-27

4660

如何更快地训练Vision Transformer

https 网络安全 github git 开源

近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。

2022-05-27

9060

深度学习框架如何优雅的做算子对齐任务？

https 网络安全 github git 开源

之前回答过「如何为PyTorch做贡献的知乎问题」，原贴见：https://www.zhihu.com/question/502301777/answer/2248950419 。回答提到了去年在OneFlow开发一些算子时，基于算子AutoTest框架找到了一些PyTorch算子的bug，并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子，以及它背后的原理。因此，这篇文章就用来介绍OneFlow的算子AutoTest框架看一下OneFlow深度学习框架在算子开发过程中是如何优雅的做算子对齐任务的（由@大缺弦开发，后经我和其它同事进行扩展和丰富功能形成今天的形态）。这个AutoTest框架也可以很轻易移植到其它深度学习训练框架使用，代码实现在https://github.com/Oneflow-Inc/oneflow/blob/v0.6.0/python/oneflow/test_utils/automated_test_util/torch_flow_dual_object.py。

2022-02-11

9240

神经网络加上注意力机制，精度反而下降，为什么会这样呢？

github https git 开源网络安全

因为之前写过Attention+YOLOv3的文章，做过相关实验，所以被问过很多问题，举几个典型的问题：

2021-12-27

2.1K0

用Welford算法实现LN的方差更新

https 网络安全 github git 开源

前段时间debug LayerNorm的时候，看见Pytorch LayerNorm计算方差的方式与我们并不一样。它使用了一种在线更新算法，速度更快，数值稳定性更好，这篇笔记就当一篇总结。

2021-09-14

1.2K0

Piecewise Linear Unit：分段线性激活函数

https github 网络安全 git 开源

激活函数在神经网络里是一个重要的组件，大家最常用的是ReLU，其变种在各种任务/模型中都有较好的效果。Swish这种搜索得到的激活函数，在部分数据集上也能超越ReLU，但是搜索效率不够高。

2021-08-19

1.9K0

基于Msnhnet实现最优化问题(中)一(无约束优化问题)

https 网络安全 github git 开源

牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。

2021-07-23

7930

如何更好地调整学习率

https 网络安全 github git 开源

【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析这个15年就提出来的技术Cyclical Learning Rates。

2021-07-23

8250

基于Msnhnet实现最优化问题（上）SGD&&牛顿法

https 网络安全 github git 开源

梯度下降不一定能够找到全局最优解，有可能是局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。

2021-07-23

5820

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态