如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。
What Artifificial Neural Networks Can Tell Us
我们都熟悉“人工智能”这个词。但你最近可能听说过“机器学习” ( Machine Learning )和“深度学习” ( Deep Learning ) 等其他术语，它们有时会与人工智能 ( AI ) 互换使用。因此，人工智能、机器学习和深度学习之间的区别可能非常不清楚。 关于这个主题的文章通常都有很多的高等数学、代码，或者是其他令人困惑的高层次，以致于无法触及。 通过本文，您将了解AI和机器学习的基础知识。此外，您将了解最流行的机器学习类型深度学习是如何工作的。
AiTechYun 编辑：Yining 从某些角度上来看，建立一个能够回答自然语言问题的系统一直被认为是一个非常有野心的目标。根据下面给出的图像，想象一个可以回答这些问题的系统： 图像中有什么？ 图像
2022年3月10日，斯德哥尔摩大学生物化学和生物物理系的Arne Elofsson和Patrick Bryant在Nat Commun杂志发表文章，介绍了AlphaFold2如何预测多种异质蛋白复合物的结构，尽管它被训练为预测单个蛋白链的结构。使用优化的MSA与AlphaFold2可以准确地预测异源二聚体复合物的结构。
Salesforce最新论文提出了一个可处理多项自然语言处理的通用模型：decaNLP，处理机器翻译、文本分类等NLP任务统统不在话下！
机器之心报道 编辑：张倩 既能利用多粒度输入信息，又不降低推理速度，腾讯看点等机构的研究者在一篇 ACL 论文中提出了一种高效的语言模型预训练方法荔枝 LICHEE。经过半年多的摸索改进，荔枝 LICHEE 同时登顶 CLUE 分类榜单、阅读理解榜单、总榜单，其相关的技术创新也被 ACL 2021 录用。 近日，腾讯看点 NLP 内容算法专家郭伟东在机器之心举办的 ACL 论文分享会上对此研究进行了解读，欢迎大家浏览视频。 基于大型语料库的语言模型预训练在构建丰富的上下文表示方面已经取得了巨大的成功，也在
【导语】北大、哈工大和加州大学圣巴巴拉分校在 ACL 2019 的一篇论文中联合提出了一个全新的生成性解释框架，该框架能够对分类策略进行学习，并同时提供细粒度的解释。这项研究还提供了解释因子以及最小化风险训练（minimum risk training）方法，以便进行学习并产生更加合理的解释。
T5 是一个文本到文本迁移 Transformer 模型，通过将所有任务统一视为一个输入文本并输出文本，其中任务类型作为描述符嵌入到输入中。该模型使单个模型可以执行各种各样的有监督任务，例如翻译、分类、Q＆A、摘要和回归（例如，输出介于 1 到 5 之间两个句子之间的相似性得分。实际上，这是一个 21 类分类问题，如下所述）。该模型首先在大型语料库上进行无监督的预训练（像 BERT 中一样的隐蔽目标），然后进行有监督训练，其中包含代表所有这些任务的输入文本和相关带标签的数据，也就是文本（其中输入流中的特定标记“将英语翻译为法语”或“ stsb句子1：…句子2”，“问题” /“上下文”等对任务类型进行编码，如上图所示，模型经过训练输出与标记数据匹配的文本。）通过这种为监督学习指定输入和输出的方法，该模型在所有不同的任务之间共享其损失函数、解码器等。
AI一直存在偏见问题，词嵌入是一种常见的算法训练技术，涉及将单词与向量联系起来，在源文本和对话中不可避免地隐含偏见，甚至是放大偏见。2016年的一项研究发现，谷歌新闻文章中的单词嵌入倾向于展示性别刻板印象。
有些优化算法本质上是非迭代的，只是求解一个解点。有些其他优化算法本质上是迭代的，但是应用于这一类的优化问题时，能在可接受的时间内收敛到可接受的解，并且与初始值无关。深度学习训练算法通常没有这两种奢侈的性质。深度学习模型的训练算法通常是迭代的，因此要求使用者指定一些开源迭代的初始点。此外，训练深度模型的训练算法通常是迭代的问题，以至于大多数算法都很大程度地受到初始化选择的影响。初始点能够决定算法是否收敛时，有些初始点十分不稳定，使得该算法会遭遇数值困难，并完全失败。当学习收敛时，初始点可以决定学习收敛得多快，以及是否收敛到一个代价高或低的点。此外，差不多代价的点可以具有区别极大的泛化误差，初始点也可以影响泛化。
1.Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts
https://dzone.com/articles/how-to-test-ai-models-an-introduction-guide-for-qa-1
百度机器翻译团队创新性地提出了全球首个感知上下文的机器同传模型，并基于此发布了最新的语音到语音的机器同传系统：DuTongChuan（度同传）。
近日，OpenAI 研究科学家 Hyung Won Chung 在首尔国立大学做了题为「Large Language Models (in 2023)」的演讲。他在自己的 YouTube 频道上写到：「这是一次雄心勃勃的尝试，旨在总结我们这个爆炸性的领域。」
在前面的章节，我们讨论了各种JavaScript概念和运行在浏览器上的各种深度学习框架。在本章中，我们将所有的知识付诸于实践，证明该技术的潜力。
Canvas是用于设计和记录机器学习系统的模板。它比简单的文本文档具有优势，因为Canvas用简单的部件通过部件之间的相关性来寻找机器学习系统的关键组件。这个工具已经很流行，因为它对复杂项目进行了可视
摘要： Canvas是用于设计和记录机器学习系统的模板。它比简单的文本文档具有优势，因为Canvas用简单的部件通过部件之间的相关性来寻找机器学习系统的关键组件。这个工具已经很流行，因为它对复杂项目进
今天跟大家聊一聊多任务学习。多任务学习目前已经成为很多场景的基础模型结构，从最开始谷歌提出的MMoE，到后续腾讯提出的PLE等，多任务学习网络结构的发展非常迅速。
自ChatGPT API开放后，大量的研究都选择利用ChatGPT和GPT-4等大型基础模型（LFM）的输出作为训练数据，然后通过模仿学习来提升小模型的能力。
【引子】读论文Toolformer: Language Models Can Teach Themselves to Use Tools，https://arxiv.org/pdf/2302.04761.pdf，再阅读了几篇关于Toolformer的网络热文，于是“无知者无畏”，开始自不量力地试图解读Toolformer。
深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢?
首先我们需要了解几个机器学习中的起码要知道是怎么回事的概念，了解了后面看代码才不会一脸懵逼。
虽然大型语言模型在处理日常问答、总结文本等任务上表现非常出色，但如何让LLM在不显著增加计算需求、不降低短文本性能的前提下，能够处理「超长文本输入」仍然是一个难题。
整理 | 禾木木 出品 | AI科技大本营（ID:rgznai100） OpenAI，这次真的要 Open 了。 OpenAI 在 2020 年 6 月开放了 GPT-3 API 接口，但只是开放商用，随即吸引了大量的公司：客服、视频游戏、辅导服务和心理健康应用程序等。 近日，OpenAI宣布，将取消访问其自然语言处理程序GPT-3 API 的等候名单。 GPT-3 是一种大型语言模型，可以自动编写电子邮件和文章、撰写诗歌、跨十几种编程语言创建代码等等。从11月18日开始，对于受任何支持国家/地区的开发者都
论文重点研究了“任务污染”问题，也就是大模型在训练时期就见识过很多任务示例，给人一种AI拥有零样本或少样本能力的错误印象。
相比 ChatGPT 能力有大进化，多模态上有突破但不多。 作者丨李梅 黄楠 编辑丨岑峰 今日，多模态大模型 GPT-4 震撼登场！ GPT-4 能够接受图像和文本输入，输出文本，在各项测试和基准上的表现已经与人类水平相当。 OpenAI 一次性大放送，发布了 GPT-4 的技术报告、system card，并提供了 ChatGPT Plus 体验、GPT-4 的 API waitlist、demo 视频，以及用于自动评估 AI 模型性能的 OpenAI Eval 框架。 Sam Altman 称，GPT-
今天为大家介绍的是来自Marinka Zitnik团队的一篇关于模型预训练的论文。语言模型的预训练及其衍生的通用方法已经重新塑造了机器学习研究。然而，在预训练如何提高下游任务性能方面仍存在相当大的不确定性。当在自然语言以外的领域使用语言模型预训练时，这一挑战变得更加突出。在这里，作者通过分析预训练方法如何在每个样本的潜在空间中施加关系结构来研究这个问题，也就是说，预训练方法对样本的预训练特征之间的距离或几何关系施加了什么约束。
当地时间 1 月 29 日，Meta 发布了 Code Llama 70B，Meta 表示这是“Code Llama 家族中体量最大、性能最好的模型版本”。Code Llama 70B 与先前其他家族模型一样提供三种版本，且均可免费用于研究和商业用途：
本文介绍一种称之为BERT的新语言表征模型，意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等，2018; Radford等，2018)，BERT旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务(如问答和语言推理)创建当前最优模型，无需对任务特定架构做出大量修改。
生成式人工智能正在快速发展，许多人正在尝试使用这项技术来解决他们的业务问题。一般情况下有4种常见的使用方法：
前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：
监督式学习指的是你拥有一个输入变量和一个输出变量，使用某种算法去学习从输入到输出的映射函数
深度学习如今应用领域愈发广泛。从语言翻译、预测蛋白质的折叠结构、以及到下围棋、写作文，几乎无处不在。
福利来自一家叫做Paperspace的云计算公司，他们提供了名叫Gradient的服务：大家都可以用云端GPU，直接跑Jupyter Notebook，不需要付费。
【新智元导读】VAE（变分自编码器） 和 ADAM 优化算法是深度学习使用率极高的方法。二者的发明者之一、OpenAI 的研究科学家 Durk Kingma 日前公布了自己的博士论文《变分推理和深度学习：一种新的综合方法》，新智元第一时间为您介绍。 论文下载：https://pan.baidu.com/s/1eSPDGv4 变分推理和深度学习：一种新的综合方法 近年，随着有监督学习的低枝果实被采摘的所剩无几，无监督学习成为了研究热点。VAE（Variational Auto-Encoder，变分自编码器）和
每个人在调试神经网络的时候，大概都遇到过这样一个时刻： 什么鬼！我的神经网络就是不 work！到底该怎么办！ 机器学习博客 TheOrangeDuck 的作者，育碧蒙特利尔实验室的机器学习研究员 Da
王瀚宸 王小新 编译自 TheOrangeDuck 量子位 出品 | 公众号 QbitAI 每个人在调试神经网络的时候，大概都遇到过这样一个时刻： 什么鬼！我的神经网络就是不work！到底该怎么办！
安全性与保障性一直是机器人技术的两个主要问题。学术界处理这两个问题时，通常采用两种方法：1.用大量的数据训练深度模型，提高其环境适应性；2.进行对抗训练，提高其稳健性。
AI 科技评论按：日前，Facebook 提出了新型代码搜索工具——神经代码搜索（NCS），能够基于机器学习直接使用自然语言处理（NLP）和信息检索（IR）技术处理源代码文本，可大大提高代码检索效率。Facebook 在官网博客上对这项新成果进行了介绍，AI 科技评论编译如下。
但在现实环境中，有些试错是不可接受的。没有人希望看到，AI通过反复撞车来学会避免事故发生。
本文作者 M. Mitchell Waldrop 是威斯康星大学基本粒子物理学博士，曾担任 Nature、Science 等顶级期刊撰稿人、编辑，出版过《复杂》等科学著作。
对于有大局意识的人来说，这无疑是一个很好的创业机会和职业选择。要想抓住职业机会，你需要超强的“码力”和深入的专业知识。
图神经网络在处理基于图数据问题方面取得了巨大的成功，受到了广泛的关注和应用。GNNs通常是基于消息传递的方式设计的，本质思想即迭代地聚合邻居信息，而经过
AI 科技评论按，在一个搜索已经无处不在的世界里，我们大多数人都有过对搜索结果不满意的体验。如果你的初始查询不返回你想要的结果，你会怎么办？当然，你可以浏览当前的前 1 亿个查询的列表，假设你只需要一秒钟就可以阅读一个查询，这一过程将花费你三年的时间。
---- 新智元报道 编辑：编辑部 【新智元导读】史上最大、最强的ChatGPT平替来了！ 大事不妙，ChatGPT的平替真来了！ 一夜醒来，最大开源社区Hugging Face发布了HuggingChat，有300亿参数。 既开源，还免费，互联网上随随便便就能用。 网址戳这里：hf.co/chat，秒秒钟体验ChatGPT完美平替。 如果说，ChatGPT是苹果iOS系统，那么，HuggingChat将成为开源版的Android。 不得不说，接入亚马逊之后的Hugging Face，有点猛啊
原文 http://webrtcbydralex.com/index.php/2018/10/11/webrtc-video-quality-assessment/
今天为大家介绍的是来自Sophia Y. Wang团队的一篇论文。像ChatGPT这样的大型语言模型（LLMs）似乎能够执行各种任务，包括回答患者的眼部护理问题，但尚未与眼科医生进行直接比较评估。目前仍不清楚LLM生成的建议是否准确、合适和安全，适用于眼科患者。
在计算机视觉任务中，为了将预训练的深度神经网络模型应用到各种移动设备上，学习一个轻便的网络越来越重要。当我们可以直接访问训练数据集时，现有的深度神经网络压缩和加速方法对于训练紧凑的深度模型是非常有效的，但是现实情况却是，有了隐私保护，法规政策等，数据集的回去越来越困难，为此，本文提出了一种利用生成对抗网络(GANs)训练高效深度神经网络的新框架DAFL（Data-Free Learning）。
在机器学习中，经常提到训练集和测试集，验证集似有似无。感觉挺好奇的，就仔细查找了文献。以下谈谈训练集、验证集和测试集。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
