腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器之心

专栏作者

8914

文章

6254471

阅读量

277

订阅数

谷歌复用30年前经典算法，CV引入强化学习，网友：视觉RLHF要来了？

编程算法强化学习图像处理图像识别

机器之心报道机器之心编辑部模型预测和预期使用之间存在错位，不利于 CV 模型的部署，来自谷歌等机构的研究者用强化学习技术的奖励函数，从而改善了计算机视觉任务。 ChatGPT 的火爆有目共睹，而对于支撑其成功背后的技术，监督式的指令微调以及基于人类反馈的强化学习至关重要。这些技术也在逐渐扩展到其他 AI 领域，包括计算机视觉（CV）。我们知道，在处理计算机视觉中的复杂输出时，成功的主要标准不在于模型对训练目标的优化程度，而在于预测能力与任务的吻合程度，即模型在预期用途上的表现效果。为了追求这种一致性

2023-02-27

5980

如何提升深度学习算法效率，谷歌有这些绝招

NLP 服务 https 网络安全编程算法数据库

选自谷歌博客机器之心编译编辑：铭怿大型机器学习模型在多个领域展现出具有变革性的结果，但在现实世界中，训练和推理效率正在成为关键需求。Google Research 一直在通过开发新的基础技术来提高大型 ML 模型的效率。本文中，谷歌以「提升模型效率」为主题，介绍如何使 ML 模型更加强韧、高效。十年前，深度学习崛起的部分原因在于新算法和架构的融合、数据的显著增加以及计算能力方面的提升。过去 10 年里，AI 和 ML 模型更加深入、复杂、有了更多的参数和训练数据，也因而变得更大、更繁琐，这也为机器

2023-02-27

3100

智能EDA浪潮即将来袭，ChatGPT如何助力设计芯片

硬件开发编程算法人工智能神经网络深度学习

机器之心专栏作者：常开颜（中科院计算所处理器全国重点实验室博士生）除了人机对话，ChatGPT 的代码生成能力或许能让它在 EDA 领域大显身手。提到 ChatGPT，你会想到什么？提到芯片，你又会想到什么？可以把你脑海中浮现的第一个词记下来，看完这篇文章，肯定会改变你的看法。如果你是一个科技爱好者，那么你的第一印象是 ChatGPT 是一个高智能的对话模型，可以和人对话，而芯片产业是个复杂的整体，不止有上层的体系结构设计者，还有底层流片的工程师。你或许不会把两者结合起来，因为两者看起来风马牛不相及

2023-02-27

6240

手机导航精度小于1米，北斗高精度定位技术想象力不止于此

机器之心发布机器之心编辑部从车道级导航到北斗创新应用，高精度成为全球卫星导航发展热点。 2 月 18 日，千寻位置与高德地图在北京举行新闻发布会，宣布达成战略合作协议，共同发起 “北斗出行创新计划”。此次合作代表高精定位与高精地图的深度结合，以“车道级导航”为代表的中国北斗创新应用在更大范围的全面铺开。北斗卫星导航系统自主建设、独立运行，自北斗三号组网成功以来，北斗稳定可靠、世界一流的服务性能引发全球各界关注。北斗卫星导航系统工程总设计师、中国工程院院士杨长风在会上表示，当前，高精度应用逐步向普适化

2023-02-23

5410

用GPT生成《超级马里奥》游戏关卡，近9成关卡可玩

游戏编程算法 NLP 服务

机器之心报道编辑：赵阳、张倩 AIGC 正在变革游戏产业。最近一年来，生成式 AI 在绘画、文本、代码等创作领域的表现越来越成熟，OpenAI 的聊天机器人 ChatGPT 更是将这一趋势推向舆论顶点。而 AIGC 在游戏领域的进展也备受关注，投资公司 a16z 不久前发表过一篇研究文章《AIGC 在游戏中的革命》，认为在所有娱乐类目中，游戏会是生成式 AI 影响最大的领域。在之前的报道中，我们提到过 AIGC 在游戏音乐、剧情生成中的一些应用案例（见文末「相关阅读」）。此外，还有不少研究者专注于关

2023-02-23

4930

全面碾压AdamW！谷歌新出优化器内存小、效率高，网友：训练GPT 2果然快

mac os 编程算法神经网络

机器之心报道编辑：杜伟、陈萍谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在语言、视觉和多模态领域更是如此。除了人工引入优化器外，还有一个方向是程序自动发现优化算法。此前有人提出过 L2O（learning to optimize），该方法通过训练神经网络来发现优化器。然而，这些黑盒优化器通常是在有限

2023-02-23

4820

被ChatGPT带飞的AIGC，能为垂直产业做些什么？

大数据数据分析设计云编程算法

机器之心发布机器之心编辑部本文从 AIGC 技术 -> 产品 -> 业务应用和价值实现环节探讨其发展路径，并以产业实例探讨 AIGC 如何才能在产业领域实现闭环和价值落地。去年以来出现了 AIGC 热潮，引发了 AIGC 及其应用话题的爆发性增长，不少人感慨强人工智能的时代已经离我们不那么遥远了。但是在热潮的另一面，我们看到真正能落地的场景依然是凤毛麟角，目前比较成功的应用主要集中在个人消费领域，而 AIGC 在产业中的应用大多仍然处于探索阶段。红杉资本在 22 年 9 月就对 AIGC 做出了以

2023-02-23

5920

令人心动的AI offer（六）：小红书、京东科技、华为数据存储、蚂蚁安全事业群等校招、社招与实习生职位

编程算法智能创作存储图像处理数据挖掘

「TalentAI」将持续带来人工智能相关在招职位信息，欢迎正在找工作与看新机会的朋友关注，也欢迎企业伙伴与我们联系合作。正值春招，近期推荐职位较多，欢迎大家关注「TalentAI」查看职位详情。本期「TalentAI」推荐职位来自小红书、京东科技、华为数据存储、蚂蚁安全事业群、第四范式、上海数字大脑科技研究院、启元世界、极氪智能科技。校招、社招与实习生岗位均有，请大家按需投递简历。小红书小红书在招岗位来自小红书智能创作团队和商业技术部。小红书智能创作团队：致力于运用行业领先的计算机视觉、音视频

2023-02-23

4150

把Transformer当通用计算机用，还能执行in-context learning算法，这项研究脑洞大开

编程算法 NLP 服务

机器之心报道编辑：romerome、张倩一个 13 层的 Transformer 能干什么用？模拟基本计算器、基本线性代数库和使用反向传播的 in-context learning 算法都可以。 Transformer 已成为各种机器学习任务的热门选择，并且取得了很好的效果，那它还能怎么用？脑洞大开的研究者竟然想用它来设计可编程计算机！这篇论文的作者来自普林斯顿大学和威斯康星大学，标题为《Looped Transformers as Programmable Computers》，旨在探索如何用 T

2023-02-23

8590

强化学习中的Transformer发展到哪一步了？清华、北大等联合发布TransformRL综述

监督学习架构设计编程算法强化学习

选自arXiv 作者：Wenzhe Li等机器之心编译编辑：rome rome 受监督学习的启发，人们对把 Transformer 用于强化学习产生了浓厚的兴趣。强化学习（RL）为顺序决策提供了一种数学形式，深度强化学习（DRL）近年来也取得巨大进展。然而，样本效率问题阻碍了在现实世界中广泛应用深度强化学习方法。为了解决这个问题，一种有效的机制是在 DRL 框架中引入归纳偏置。在深度强化学习中，函数逼近器是非常重要的。然而，与监督学习（SL）中的架构设计相比，DRL 中的架构设计问题仍然很少被研究。

2023-02-23

2340

AAAI 2023杰出论文一作分享：新算法加持的大批量学习加速推荐系统训练

云直播编程算法 https 网络安全

CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法，它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。因此，加快 CTR 预估模型的训练速度至关重要。一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上，新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖（Distinguised Paper）的研究《CowCl

2023-02-23

5260

ChatGPT 5天用户破百万，却突遭Stack Overflow封禁

编程算法 NLP 服务 https 网络安全

要问最近 AI 圈哪个模型最火爆，你不得不把 OpenAI 推出的 ChatGPT 排在前面。自从发布以来，这个对话模型可谓是出尽风头，很多人更是对其产生了一百个新玩法，让它写个代码、修改修改 bug、开发个小游戏、解答一下物理知识、去参加一场考试…… 仿佛没有它不会的。

2022-12-16

5190

爆火的ChatGPT太强了！写代码、改bug，网友：可取代Stack Overflow了

NLP 服务游戏 https 编程算法网络安全

OpenAI 新上线的 ChatGPT 可谓是火爆出圈，这个对话模型可以回答后续问题，承认错误，挑战不正确的前提，还能帮你修改代码中的 bug……

2022-12-16

1.1K0

有效融合语言模型、图神经网络，文本图训练框架GLEM实现新SOTA

神经网络 NLP 服务数据结构编程算法

图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。

2022-12-16

5630

用少于256KB内存实现边缘训练，开销不到PyTorch千分之一

NLP 服务 https 网络安全编程算法 pytorch

说到神经网络训练，大家的第一印象都是 GPU + 服务器 + 云平台。传统的训练由于其巨大的内存开销，往往是云端进行训练而边缘平台仅负责推理。然而，这样的设计使得 AI 模型很难适应新的数据：毕竟现实世界是一个动态的，变化的，发展的场景，一次训练怎么能覆盖所有场景呢？

2022-12-16

4850

近万人围观Hinton最新演讲：前向-前向神经网络训练算法，论文已公开

机器学习强化学习人工智能编程算法深度学习

NeurIPS 2022 会议正在如火如荼地进行之中，各路专家学者围绕着深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域展开交流与探讨。

2022-12-16

6620

OpenAI新上线GPT太强了，服务器瞬间挤爆，马斯克：你们太沉迷了

NLP 服务 python 编程算法

当每个人都在苦苦等待 GPT-4 发布时，OpenAI 却一直迟迟没有消息，仍在修复其前身。这家总部位于旧金山的公司于昨日发布了一个名为 ChatGPT 的新模型，它是 GPT-3 的衍生产品，它以对话的方式进行交互。

2022-12-16

9120

一句话生成3D模型：AI扩散模型的突破，让建模师慌了

我们生活在三维的世界里，尽管目前大多数应用程序是 2D 的，但人们一直对 3D 数字内容有很高的需求，包括游戏、娱乐、建筑和机器人模拟等应用。

2022-12-16

8900

Habitat Challenge 2022冠军方案：字节AI Lab提出融合传统和模仿学习的主动导航

机器人强化学习编程算法

物体目标导航 (Object Navigation) 是智能机器人的基本任务之一。在此任务中，智能机器人在一个未知的新环境中主动探索并找到人指定的某类物体。物体目标导航任务面向未来家庭服务机器人的应用需求，当人们需要机器人完成某些任务时，例如拿一杯水，机器人需要先寻找并移动到水杯的位置，进而帮人们取到水杯。

2022-12-16

3870

首次将「教导主任」引入模型蒸馏，大规模压缩优于24种SOTA方法

文件存储学习方法编程算法

面对越来越深的深度学习模型和海量的视频大数据，人工智能算法对计算资源的依赖越来越高。为了有效提升深度模型的性能和效率，通过探索模型的可蒸馏性和可稀疏性，本文提出了一种基于 “教导主任 - 教师 - 学生” 模式的统一的模型压缩技术。

2022-12-16

2670

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态