首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

旷视雨:神经网络架构设计新思路

11月27日,旷视研究院主任研究员、智源青年科学家雨在由智源社区举办的 NeurIPS 2020中国预讲会上做了“神经网络架构设计新思路”的主题演讲,从NAS、隐式模型、重参数化模型三个方面介绍了神经网络架构设计的最新进展...雨在演讲中提到: 神经网络架构搜索中存在一个有趣的现象,即搜索空间中不同模型的收敛速度与最终性能之间常常存在正相关关系,据此我们可以不基于准确率、而是基于收敛速度去判断子结构的优劣,从而实现高效搜索...雨是孙剑的首位深度学习博士生,目前是旷视研究院基础模型组负责人。他已经在CVPR、ICCV、ECCV、NeurIPS、ICLR等AI顶会上发表30多篇论文,总引用量超过9万。...例如视觉领域广泛使用的ResNet,其二作就是雨。他还是ShuffleNet的一作,该框架以轻量级低功耗和高性能出名,特别适用于移动端设备,旷视凭借此模型拿下了OPPO、小米等手机大厂的视觉订单。...如今,雨将注意力转向了AutoML、动态模型等新型神经网络模型设计方法。 以下是讲座全文,AI科技评论&智源社区合作完成,经张老师确认。 这次演讲的题目是“神经网络架构设计新思路”。

1.2K20

推荐 | :潜心研发的工业机器人产业人

可能了解这家公司的人真不多,接触到公司的前任老板、现任总工程师的人,可能就更少了。工对我讲了他在工控自动化从业20年的经历。...作为一个热爱开发工作的技术人员,因人事变动不能继续在原单位做研发,2001年离开北京来到了深圳,开始是做设计开发焊接机械臂和控制模组等自动化流水线的开发。...他们在做工业机器人整机的同时,也将机器人的传感器、驱动器、伺服系统,以及控制器等工业机器人的各个环节都自己做了一遍。...好消息是,在总工程师的带领下,公司现在已经自主开发了四轴SCARA焊接机器人手臂和恒科通六轴多功能机器人手臂。...表示:“我参观过的很多工厂现在生产环境还很恶劣,例如喷漆、焊接的工厂,这些工厂的工人年龄大都在四十以上,年轻工人看不到了。今后这些工厂要继续生存,就要考虑采用工业机器人。”

88470

旷视雨:高效轻量级深度模型的研究和实践 | AI ProCon 2019

在计算机视觉技术专题,旷视研究院主任研究员、基础模型组负责人雨主要从轻量级架构、模型裁剪、模型搜索三大思路讲述了高效轻量级深度模型的研究和实践。 轻量级架构是模型设计最简单,也是最彻底的做法。...其中,雨重点讲述了模型搜索。在他看来,目前模型搜索在轻量级模型设计领域,已逐渐成为最重要的研究方向之一。...此外,雨也提到模型设计的其他思路,比如低精度量化,浮点运算通常比较慢,相反用低精度运算可以实现很明显的模型加速。...雨:所有业务做的时候都会先定一个基准线,我们当然希望精度越高越好,但是随着业务应用的不同,并不是所有业务都要精度优先,更多还是需要综合考虑多种因素。...雨:有些通用的规则,不过很多时候对于每个具体的业务都是不太一样的。

78830

旷视雨:从基础科研的「大」和「统一」,看视觉AI研究新趋势

机器之心报道 机器之心编辑部 在 MegTech 2022 上,旷视研究院基础科研负责人雨表示:“大”和 “统一” 是视觉 AI 基础研究的新趋势。...7 月 15 日,2022 旷视技术开放日(MegTech 2022)在京举行,旷视研究院基础科研负责人雨在会上分享了他对基础模型科研的深入思考及基础模型组的最新科研成果。...雨表示,「“大”和 “统一” 是当今视觉 AI 基础研究的新趋势。...如雨所言,“大并不一定代表着好,更大的模型会带来更大的计算开销,我们的收益将会非常有限。” 换言之,片面追求大参数量、大计算量和大数据量,并不一定能够得到性能更强的模型。...演讲尾声,雨再次阐释了旷视基础模型科研始终秉持的科研价值观,“坚持长期主义,坚持原创、实用和本质的价值观。”

62530

旷视雨|迈向「大」和「统一」的视觉神经网络架构设计新思路

今天我们将分享旷视科技主任研究员雨的「视觉模型:迈向“大”和“统一”」。 雨,旷视研究院主任研究员,Foundation Model组负责人,西安交通大学人工智能学院兼职教授。...其中,雨团队重点关注如何从大数据中学习,构建具有语义一致性的超画质大模型。...近年来,雨团队发布了 VidelBEV 等长时序大模型,期望构建稳健、高效、灵活的多传感器、多视图、多数据的时序建模方法。...雨博士团队发现,MIM 方法的主要优势在于使用了 patch 遮蔽方法,使表征具有了更加精准的遮挡不变性。...雨博士团队通过实验发现,即使使用很少的图片(例如仅仅 1 )做 MIM 预训练,也可以为模型提供不错的初始化。 12 模型规模化的新思路 我们不妨回顾一下已有的将模型做「大」的方法。

83720
领券