神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。通过训练神经网络模型解决的优化问题非常具有挑战性，尽管这些算法在实践中表现出色，但不能保证它们会及时收敛到一个良好的模型。
大规模预训练语言模型（LLM）如 GPT-3 是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个 token（Next token prediction）。通过预测词的训练目标、大规模数据集以及超高参数量的模型相结合，产生了性能极强的 LLM，它可以 “理解” 任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3 的论文发现，大规模的训练数据会产生一种有趣的新兴行为，称为 In-Context Learning（又称上下文学习，语境学习， ICL），他并不需要调整模型参数，仅用几条下游任务的示例就可以取得极佳的结果。
【导读】2020 年的三月春招要来了，现在想要 Get 一个算法工程师的实习或全职机会，已经不是一件易事了。如果现在着手复习，茫茫题海不能毫无重点，我们要先抓住那些刚需必备的面试题。这次，作者收集了 12 个 AI 工程师职位的面试问题，助你攻下你心仪的 offer。
这些问题是我在面试 AI 工程师岗位时常问到的问题。事实上，并非所有面试都需要用到所有这些问题，因为这取决于面试者的经验以及之前做过的项目。经过很多面试（尤其是与学生的面试）之后，我收集了 12 个深度学习领域的面试问题。我将在本文中将其分享给你。
这篇文章的主要内容来自作者的自身经验和一些在线资源（如最出名的斯坦福大学的CS231n课程讲义），是关于如何调试卷积神经网络从而提升其性能的。
这是一个我已经断断续续地研究了很长一段时间的项目。在此项目之前我从未尝试过修改游戏，也从未成功训练过“真正的”强化学习代理（智能体）。所以这个项目挑战是：解决钓鱼这个问题的“状态空间”是什么。当使用一些简单的 RL 框架进行编码时，框架本身可以为我们提供代理、环境和奖励，我们不必考虑问题的建模部分。但是在游戏中，必须考虑模型将读取每一帧的状态以及模型将提供给游戏的输入，然后相应地收集合适的奖励，此外还必须确保模型在游戏中具有正确的视角（它只能看到玩家看到的东西），否则它可能只是学会利用错误或者根本不收敛。
在过去的一年，深度学习技术在各个领域一如既往地取得了不少进展。然而当前深度学习技术（本文中称为深度学习1.0）仍然存在着一些明显的局限，例如在解决有意识任务方面的不足。那么针对这些局限性，在未来的一年，有哪些可能的解决方案？深度学习又会在哪些方面带来有希望的突破？
如果你的神经网络不工作，该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。
【新智元导读】如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。 如果你的神经网络不工作，该怎么办？作者在这里列出了建神经网络时所有可能做错的事情，以及他自己的解决经验。 忘记规范化数据 忘记检查结果 忘记预处理数据 忘记使用正则化 使用的batch太大 使用了不正确的学习率 在最后层使用了错误的激活函数 你的网络包含了Bad Gradients 初始化网络权重
原文地址：My Neural Network isn't working! What should I do? 如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题
为生产而构建的机器学习系统需要有效地培训、部署和更新机器学习模型。在决定每个系统的体系结构时，必须考虑各种因素。这篇博文的部分内容是基于Coursera和GCP(谷歌云平台)关于构建生产机器学习系统的课程。下面，我将列出构建可伸缩机器学习系统时需要考虑的一些问题:
机器之心原创 作者：吴攀、李亚洲 当地时间 3 月 8 日-10 日，Google Cloud NEXT '17 大会在美国旧金山举行。谷歌在本次大会上正式宣布了对数据科学社区 Kaggle 的收购并宣布了多个重量级云 API。机器之心作为受邀媒体也在第一时间从现场发回了报道：《现场直击 | 李飞飞首度亮相谷歌云大会：发布全新 API，解读 AI 民主化》和《现场直击 | 谷歌云大会最后一天解读开放性：从 TensorFlow 开源到开放云平台》。而作为开发者，最关心的则莫过于本次大会中各种更加详细和专一的
不知道小伙伴们是否有这样的困惑，当我们回顾自己 6 个月前编写的一些代码时，往往会看的一头雾水
你可能已经听过很多次了，但只有一小部分机器学习模型投入生产。部署和运行机器学习模型对于大多数已经开始将ML应用于用例的行业来说都是一个挑战。在这篇文章中，我将分享一些MLOps的最佳实践和技巧，它们将允许您在生产环境中使用您的ML模型并正确地操作它。在我们开始之前，让我们讨论一下我们可能都知道的典型的ML项目生命周期。
大数据文摘作品，转载要求见文末 作者 | Faizan Shaikh 编译团队 | Aileen，曹翔，刘晓莉，行者 简介 早在2009年，深度学习还只是一个新兴领域，只有少数人认为它是一个多产的研究方向。今天，深度学习正在被用来开发那些过去被认为是不可能完成的应用。 语音识别，图像识别，数据中的模式识别，照片中的对象分类，字符文本生成，自动驾驶汽车等等只是其中几个示例。因此，熟悉深度学习及其概念显得尤为重要。 在这个测试中，我们考察了社区成员的深度学习基本概念。总共有1070人参加了这项技能测试。
在这项工作中，我们首先观察到DPMs通常难以学习图像中物体部分之间的关联关系，导致训练过程缓慢。为了解决这个问题，提出了一种有效的掩码扩散变换器（Masked Diffusion Transformer，MDT），以提高DPMs的训练效率。MDT引入了一个蒙面潜在建模方案，专门为基于Transformer的DPMs设计，以明确增强上下文学习能力并改进图像语义之间的关联关系学习。MDT在潜在空间中进行扩散过程以节省计算成本。它对某些图像标记进行掩码，并设计了一个不对称的掩码扩散变换器（AMDT），以一种扩散生成的方式预测被掩码的标记。MDT可以从其上下文不完整的输入中重建图像的完整信息，学习图像语义之间的关联关系。
“当你正在深入研究深度学习的下一个重大突破时，或许会遇到一个不幸的挫折:你的神经网络不起作用。你去找你的老板/主管，但他们也不知道如何去解决这个问题——他们和你一样都是新手。那么现在该怎么办呢?” 因
TensorFlow是谷歌研发的开源框架。本讲座介绍了如何使用TensorFlow创建深度学习应用程序，以及与其他Python机器学习库进行比较。 我叫Ian Lewis，我是谷歌云平台团队的开发者大
论文地址：https://arxiv.org/pdf/1501.04587.pdf
只有一层或两层、且只有注意力块的transformer，在性能上有望达到96层、兼具注意力块与MLP块的GPT-3的效果吗？ 作者 | Mordechai Rorvig 编译 | bluemin 编辑 | 陈彩娴 在过去的两年里，基于Transformer架构开发的大规模语言模型在性能（如语言流畅度）上达到了令人叹为观止的效果。 但是，Transformer对单词的处理方法是什么？学术界仍未有确定的答案。普遍的理解是，transformer模型能够以某种方式同时关注多个单词，以便立即进行“全局”分析。但它到
你好，我是zhenguo 这是我的第506篇原创 打开率不足1.5% 关注我的读者近6万，但是公众号打开率日益下降，最近几篇的阅读打开率已经不足1.5%，这令我有些沮丧，但是作为一名写作近5年的创作者，我不会因此而停下前进的脚步，我还会一如既往，持续为你创造真正有用的技术干货。 提升技术靠的是日积月累的思考和训练，没有所谓的灵丹妙药，也没有一个又一个所谓的神器。学技术就像过日子，平平淡淡才是真。 面试第一关一般是算法面试题 有段时间没更新算法相关的文章了，现在三四月份，关注我的读者应该会有想换工作的，要想
随着人工智能系统越来越先进，智能体「钻空子」的能力也越来越强，虽然能完美执行训练集中的任务，但在没有捷径的测试集，表现却一塌糊涂。
T5 是一个文本到文本迁移 Transformer 模型，通过将所有任务统一视为一个输入文本并输出文本，其中任务类型作为描述符嵌入到输入中。该模型使单个模型可以执行各种各样的有监督任务，例如翻译、分类、Q＆A、摘要和回归（例如，输出介于 1 到 5 之间两个句子之间的相似性得分。实际上，这是一个 21 类分类问题，如下所述）。该模型首先在大型语料库上进行无监督的预训练（像 BERT 中一样的隐蔽目标），然后进行有监督训练，其中包含代表所有这些任务的输入文本和相关带标签的数据，也就是文本（其中输入流中的特定标记“将英语翻译为法语”或“ stsb句子1：…句子2”，“问题” /“上下文”等对任务类型进行编码，如上图所示，模型经过训练输出与标记数据匹配的文本。）通过这种为监督学习指定输入和输出的方法，该模型在所有不同的任务之间共享其损失函数、解码器等。
梯度爆炸是一个在训练过程中大的误差梯度不断累积，导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定，无法从你的训练数据中学习。 在这篇文章中，我将带你了解深度人工神经网络的梯度爆炸问题。
对生物数据建模的最大挑战是数据种类繁多。生物学家使用的数据包括基因和蛋白质序列、随时间推移的基因表达水平、进化树、显微镜图像、3D 结构和相互作用网络等。研究者在下图中，总结了针对特定生物数据类型的一些例子和重要注意事项。
论文地址：https://arxiv.org/pdf/1908.01580v1.pdf
有一个网络已经训练了12个小时。一切看起来都很好：梯度是逐渐变化的，损失在减少。但接下来的预测：都是零，所有的图像背景都没有被检测到。“我做错了什么？”——我问我的电脑，但它没有回答我。
本文旨在解释深度学习的一些常用术语，尤其是吴恩达在deeplearning.ai的Coursera课程中会频繁提到的重要词汇。每个词条包含意义阐释、图片和相关链接（公众号读者请点击原文查看），希望能对深度学习初学者和从业者有所帮助。
来自Amazon，谷歌，Meta, Microsoft等的面试问题，本文接着昨天的文章整理了机器学习和深度学习的问题
近来，大规模神经网络彻底改变了生成式模型，使模型具有前所未有的捕捉许多变量之间复杂关系的能力，例如建立高分辨率图像中所有像素的联合模型。
关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。 这里有几个原因： 深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过早地放弃。 2.中国人或美国人写的书籍或文章，普遍比较难一些。我不太清楚为什么，不过确实是这样子的。深度学习，确实需要一定的数学基础，但真的那么难么？这个，还真没有。不信？听我来给你侃侃。看完，你也会觉得没那么难了。本文是针对初学者，高手可以无视，有不对的地方，还请多多批评指正。这里，先推荐一篇非常不错的文章： 《1天搞
Boosting（提升，提高）是一种集成技术，它通过综合多个弱分类器来获得一个强的分类器。
第 10 章介绍了人工神经网络，并训练了我们的第一个深度神经网络。 但它是一个非常浅的 DNN，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层，每层包含数百个神经元，通过数十万个连接相连。 这可不像公园散步那么简单：
1.5 使用梯度下降算法进行学习 现在我们有了神经网络的设计，它怎样可以学习识别数字呢?我们需要的第一样东西是一个 用来学习的数据集 —— 称为训练数据集。我们将使用 MNIST 数据集，其包含有数以
AI 研习社按：今天为大家带来硅谷深度学习网红 Siraj 的一则教学视频：如何从零开始构建一个图像分类器来对猫和狗进行分类。（内心OS：终于要开始图像部分了！）具体视频内容如下，Github 链接详见文末“阅读原文”。 为了照顾没有 WiFi 的小伙伴，我们特别提供了以下根据视频内容整理的文字版（hin 贴心有木有！）： 图像分类发展历史 在80年代和90年代初出现了一些不同的尝试，都用了类似的方法——根据图片的构成特征来给每张图片手动编码进行分类，但变量实在太多了——世界上没有相同的两片叶子。所以结
翻译自博客：IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW 原博文：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ github：https://github.com/dennybritz/cnn-text-classification-tf 在这篇文章中，我们将实现一个类似于Kim Yoon的卷积神经网络语句分类
新的一年，新的开始，好想发论文啊！废话不多说，下面讲下文字到图片的生成。 文字生成图片 最有代表的一张图怕是这个了，牛人，大佬 RNN可用来对文字进行判别和表示，GAN可以做图片生成，那么如何将字符翻
本文介绍了如何通过梯度下降法、牛顿法和拟合法等计算和解决神经网络中的参数问题。首先介绍了梯度下降法，包括批量梯度下降、随机梯度下降和小批量梯度下降。然后介绍了牛顿法，包括拟合、求导和求解。最后介绍了学习系数，包括调整参数、定义初始值和学习率调整。
初始化对训练深度神经网络的收敛性有重要影响。简单的初始化方案可以加速训练，但是它们需要小心避免常见的陷阱。
爱在七夕 七夕，农历七月初七， 人们说它是中国的情人节， 可最初它是中国少女的乞巧节， 而现在，这些都不重要， 重要的是， 它是属于所有心中有“爱”之人的节日。 PPV课在这里祝福各位情人节快乐！ 今天，面对 AI 如此重要的江湖地位，深度学习作为重要的一个研究分支，几乎出现在当下所有热门的 AI 应用领域，其中包含语义理解、图像识别、语音识别，自然语言处理等等，更有人认为当前的人工智能等同于深度学习领域。 如果在这个人工智能的时代，作为一个有理想抱负的程序员，或者学生、爱好者，不懂深度学习这个超
📷 作者：Jacky Yang（知乎） 关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。 这里有几个原因： 1.深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过早地放弃。 2.中国人或美国人写的书籍或文章，普遍比较难一些。我不太清楚为什么，不过确实是这样子的。 深度学习，确实需要一定的数学基础，但真的那么难么？这个，还真没有。不信？听我来给你侃侃。看完，你也会觉得没那么难了。 本文是针对初学者，高手可以无视，有不
关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。 这里有几个原因： 1. 深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过早地放弃。 2. 中国人或美国人写的书籍或文章，普遍比较难一些。我不太清楚为什么，不过确实是这样子的。 深度学习，确实需要一定的数学基础，但真的那么难么？这个，还真没有。不信？听我来给你侃侃。看完，你也会觉得没那么难了。 本文是针对初学者，高手可以无视，有不对的地方，还请多多批评指正。 这里，先推荐一篇非常不错的文章： 《1 天
选自Quantamagazine 机器之心编译 作者：Mordechai Rorvig 机器之心编辑部 这家由 OpenAI 前核心员工组成的 AI 创业公司，正在努力打开 Transformer 的黑箱。 在过去的两年里，人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。 但在模型之下，我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看，它们能够以某种方式关注多个单词，从而可以立即进行「全局」分
解析：正确答案A，更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。
领取专属 10元无门槛券
手把手带您无忧上云
