OpenAI伦敦Office；FlamingoV2发布；Salesforce的70B模型；SD新模型｜Daily Summary

产业资讯

 OpenAI将在伦敦开设办事处

OpenAI将在伦敦开设其第一个扩展办事处。关于哪些团队、多少人以及办事处何时开放的细节尚不清楚。

 Open Flamingo v2 发布

Flamingo是DeepMind的一个模型，可以处理图像和文本。它可以回答视觉问题，并具有强大的语言建模性能。这项工作是对这些模型的复制努力。它还使用了MPT和Red pajama基模型，这些模型在许可使用方面较为宽松。这个复制版本的性能约为原始Flamingo的80%。演示、代码和权重均可供使用。

 Salesforce发布新的语言模型

Salesforce发布了一组包含70亿参数的模型，这些模型使用4K和8K序列长度进行了1.5万亿个标记的训练。这些模型由Salesforce进行训练，达到了与今天的许多开源模型（如MPT或Falcon）的更好或相当的性能。它们还包括一种不具有商业可行性但可用于研究目的的指导模型。

 ChatGPT应用现在可以浏览网络

OpenAI为ChatGPT Plus订户引入了浏览功能，允许用户使用ChatGPT通过Bing搜索答案，尤其是针对当前事件和原始训练数据之外的信息。然而，仅使用Bing作为搜索引擎，这是由于OpenAI与微软有密切联系而做出的决定，引发了人们的疑虑，因为过去有关Bing优先显示与微软相关结果和高水平虚假信息的担忧。

 Stable Diffusion发布两个新的扩散模型

Stable Diffusion发布了两个新的生成扩散模型，供研究使用。

工程研究

 如果互联网都是生成的，模型训练会发生什么？

随着大型语言模型越来越普遍，我们想要训练的下一代模型将会发生什么变化？如果不仔细筛选生成的输出，可能会遇到一种称为“模型崩溃”的现象，其中知识的尾部消失，接着是最具连贯性的生成能力。当然，这只在一个125m参数模型中进行了演示，因此还有待观察是否适用于最大的模型。

 使用更简单的语言进行训练可能更节省数据

在处理语言时，有两类特征：语义和句法。语义包括短语的含义，而句法则是语法和风格。语言模型非常有用，因为它们可以通过语义来保持含义，同时改变写作的风格或句法。然后就出现了一个问题：预训练的哪些特征能够带来更好的句法操作能力？事实证明，相较于更多的数据或参数数量，简单的语言和深度模型更有帮助。

 LightGlue：更智能、更快速的图像匹配技术

LightGlue是一项新技术，可以更轻松、更快速地找到图片之间的相似之处，甚至改进了目前最佳的方法Superglue。LightGlue最好的一点是它可以适应图像的复杂性，在处理更简单的图像时工作更快，这在实时应用程序（如创建3D模型）中可能非常有帮助。

 构建上帝

Rohit Krishnan探讨了构建一个足够好以进行科学实验的自我改进和反思代理所需的条件。

 AI生成的推文比真人更具说服力

一项新研究发现，人们更有可能相信由GPT-3生成的推文，而不是人类编写的内容。

效率资源

 3D-Speaker语音数据集

3D-Speaker是一个来自于超过10,000个说话者的音频数据的庞大集合，这些音频数据是在不同设备上、不同距离上和多种方言中录制的。该数据集有助于研究人员对语音的不同方面进行分解，并非常适用于测试大规模语音模型。

 Composer

Composer是一个PyTorch库，可以使您以更快、更低的成本和更高的准确性训练神经网络。

 Goodmeetings

由AI策划的摘要，将数小时的会议压缩成关键时刻的几分钟；所有录音、转录和洞察力都整理在一个易于搜索的库中。