特斯拉超10亿美元投入Dojo，机械肢体或可移植；苹果测试AppleGPT；微软挑战Transformer；GPT-4暂无缘图像

产业资讯

特斯拉超10亿美元投入Dojo

马斯克在2023Q2财报表示，特斯拉明年将在 Dojo 上投入超过 10 亿美元。Dojo 是特斯拉为人工智能机器学习和计算机视觉训练目的而开发的超级计算机。特斯拉从客户和公司车辆中收集视频剪辑和数据，以改进现有软件，并开发新功能，使其成为驾驶员辅助系统的一部分。

特斯拉机械肢体移植

马斯克在财报会议上谈到了将 Neuralink 大脑植入物与特斯拉制造的机械臂或腿相结合。谈到截肢者，他说，“我们相信我们可以为他们提供一个能力超群的机器人身体——在现实生活中是一个价值 600 万美元的人，但它不会花费 600 万美元。” 他开玩笑说：“一万六千美元的男人。”

苹果正在测试“AppleGPT”以追赶OpenAI

根据彭博，苹果已经建立了自己的框架来创建大型语言模型，基于人工智能的系统是ChatGPT和谷歌的Bard等产品的核心。报告称，凭借这个名为 “Ajax” 的基金会，苹果还创建了一项聊天机器人服务，一些工程师称之为 “Apple GPT”。

微软 RetNet 挑战 Transformer

微软研究的UniLM团队发布了另一种可能具有颠覆性的架构，称为RetNet。它在循环模型和Transformer之间找到了一个折中的方法，同时保持了每种模型的优点。1000亿个令牌训练的70B模型在理论比较之外的性能上超越了Transformer。除了强大的理论比较之外，最有趣的细节之一是它是使用512个AMD MI200 GPU进行训练的。

苹果正在测试“AppleGPT”以追赶OpenAI

根据彭博，苹果已经建立了自己的框架来创建大型语言模型，基于人工智能的系统是ChatGPT和谷歌的Bard等产品的核心。报告称，凭借这个名为 “Ajax” 的基金会，苹果还创建了一项聊天机器人服务，一些工程师称之为 “Apple GPT”。

OpenAI因为担心隐私问题，而暂时保留了GPT-4的图像功能

OpenAI一直在测试GPT-4的多模态版本，其中包含图像识别支持，以便计划中的广泛发布。然而，出于对其可能识别特定个体能力的担忧，公众访问权限受到限制。

Mosaic的8K MPT模型

Mosaic团队在H100s上额外训练了5000亿个令牌，用于训练8K上下文长度模型，这些模型在各种任务上表现良好，并可作为强大的基础模型用于微调。

工程研究

一种高效的动作识别框架

这篇论文介绍了一种新方法，Skeleton Sequence Learning，它利用人体骨架关节之间的细粒度依赖关系来学习和理解人体动作，无需大量标记数据。

带有复杂约束的文本生成

这项研究介绍了一种名为COLLIE的新工具，它能够基于各种层面（单词、句子、段落和篇章）的复杂、基于语法的约束生成文本，提供了比当前自然语言处理中使用的简单约束更大的挑战。

AutoChain

AutoChain受到LangChain和AutoGPT的启发，旨在通过提供一个轻量级和可扩展的框架，使开发人员能够使用具有自定义工具的LLMs构建自己的代理。

一种用于改进和一致的视频深度估计的工具

该论文介绍了一种名为神经视频深度稳定器的新方法，可在视频中提供一致且准确的深度估计。该团队还提供了迄今为止最大的自然场景视频深度数据集，称为Video Depth in the Wild。

用预训练模型模仿人类行为

该论文提出了一种新的图像融合方法，与先前的方法不同，它不依赖于大量的合成图像，训练成本更低，具有更好的泛化性。

MindEye 重建脑活动

MindEye是一种最先进的方法，可以从fMRI脑活动中重建和检索图像。

‍

效率资源

‍

Wope

适用于生成搜索时的强大SEO见解。