首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ICLR 2024 最新研究 DYST 技术让视频表征更精准、更智能

首先来看引言部分,概述了在视觉表示学习领域的主流研究集中于捕捉个别图像的语义和2D结构的现状,并指出本研究的重点是同时捕捉场景的3D结构和动态,这对于规划、空间和物理推理以及与现实世界的有效互动至关重要。文章强调了最近在3D视觉场景的生成模型方面取得的进展,特别是从使用体素网格、点云或纹理网格等显式表示转向通过直接优化新视图合成(NVS)来学习隐式表示的转变。如神经辐射场(Neural Radiance Fields)虽然最初限于单一场景并需要大量输入图像、控制的照明、精确的相机姿态和长时间的处理,但随后已被扩展以处理照明变化、跨场景泛化、少量图像工作、缺失相机和动态场景。

01

Nature Neuroscience重磅综述:网络神经系统中的动态表征

一组神经元可以产生代表刺激信息的活动模式;随后,该小组可以通过突触将活动模式转换和传递到空间分布区域。神经科学的最新研究已经开始独立处理信息处理的两个组成部分:刺激在神经活动中的表示和模拟神经相互作用的网络中的信息传输。然而,直到最近,研究才试图将这两种方法联系起来。在这里,我们简要回顾一下这两种不同的文献;然后,我们回顾了最近在解决这一差距方面取得的进展。我们继续讨论活动模式如何从一种表示演变到另一种表示,形成在底层网络上展开的动态表示。我们的目标是提供一个整体框架来理解和描述神经信息的表达和传递,同时揭示令人兴奋的前沿领域未来的研究。

03

长文本生成更流畅,斯坦福研究者引入时间控制方法,论文入选ICLR 2022

机器之心报道 编辑:蛋酱 在这项研究中,斯坦福大学的一个研究小组提出了时间控制 (TC),这种语言模型通过潜在的随机过程进行隐式计划,并生成与该潜在计划一致的文本,以提高长文本生成的性能。 近年来,包括 GPT-2 在内的大型语言模型在文本生成方面非常成功,然而,大型语言模型会生成不连贯的长文本。一个原因是不能提前计划或表征长段文本动态。因此,它们常常产生游离的内容,语篇结构差,关联性低 ; 文本在生成时似乎没有锚定目标。当自回归模型生成更长的文本时,这些连贯性问题进一步恶化,因为模型很难推断超出其预期的文

03

个性化大脑连接组指纹:它们在认知中的重要性

人脑的神经网络结构模式可能与个体在表型、行为、遗传决定因素和神经精神障碍的临床结果方面的差异有关。最近的研究表明,个性化的神经(大脑)指纹可以从大脑的结构连接体中识别出来。然而,个性化指纹在认知方面的准确性、可重复性和翻译潜力尚未完全确定。在本研究中,我们引入了一种动态连接体建模方法来识别一组关键的白质子网络,可以用作个性化指纹。我们进行了几个个体变量评估,以证明个性化指纹的准确性和实用性,特别是预测中年成年人的身份和智商,以及幼儿的发育商。我们的发现表明,我们的动态建模方法发现的指纹足以区分个体,也能够预测整个人类发展的一般智力能力。

02

动作过程中进行反馈校正的控制策略

令人怀疑的是,动物是否有完美的肢体逆模型(例如,要到达空间中的特定位置,每个关节必须进行什么样的肌肉收缩)。然而,在机器人控制中,将手臂的末端执行器移动到目标位置或沿着目标轨迹移动需要精确的正向和反向模型。在这里,我们表明,通过从交互中学习转换(向前)模型,我们可以使用它来驱动分期偿还策略的学习。因此,我们重新考虑了与深度主动推理框架相关的策略优化,并描述了一种模块化神经网络架构,该架构同时从预测误差和随机策略中学习系统动态,该随机策略生成合适的连续控制命令以到达期望的参考位置。我们通过将该模型与线性二次型调节器的基线进行比较来评估该模型,并总结了向类人运动控制迈进的额外步骤。

03

每日论文速递 | DMC: 动态内存压缩-在推理时压缩KV Cache

摘要:Transformers已成为大型语言模型(LLM)的支柱。然而,由于需要在内存中存储过去标记的键值表示缓存,其大小与输入序列长度和批量大小成线性比例,因此生成效率仍然很低。作为解决方案,我们提出了动态内存压缩(DMC),这是一种在推理时在线压缩键值缓存的方法。最重要的是,该模型可以学习在不同的头和层中应用不同的压缩率。我们将预训练的 LLM(如 Llama 2(7B、13B 和 70B))改装成 DMC Transformers,在英伟达 H100 GPU 上实现了高达 ~3.7 倍的自动回归推理吞吐量提升。DMC 通过持续预训练应用于可忽略不计的原始数据百分比,而不添加任何额外参数。我们发现,DMC 保持了原有的下游性能,缓存压缩率高达 4 倍,优于向上训练的分组查询注意(GQA)。GQA 和 DMC 甚至可以结合使用,以获得复合增益。因此,在任何给定的内存预算内,DMC 都能适应更长的上下文和更大的批次。

01
领券