Matt MacGillivray 拍摄，保留部分权利 翻译 | AI科技大本营（rgznai100） 长短记忆型递归神经网络拥有学习长观察值序列的潜力。它似乎是实现时间序列预测的完美方法，事实上，它可能就是。在此教程中，你将学习如何构建解决单步单变量时间序列预测问题的LSTM预测模型。 在学习完此教程后，您将学会： 如何为预测问题制定性能基准。 如何为单步时间序列预测问题设计性能强劲的测试工具。 如何准备数据以及创建并评测用于预测时间序列的LSTM 递归神经网络。 让我们开始吧。 Python中使用
基于深度学习的目标检测方法根据有无区域提案阶段划分为区域提案检测模型和单阶段检测模型，其最近发展历程在图1中画出。
前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：
长短记忆型递归神经网络拥有学习长观察值序列的潜力。 它似乎是实现时间序列预测的完美方法，事实上，它可能就是。 在此教程中，你将学习如何构建解决单步单变量时间序列预测问题的LSTM预测模型。 在学习完
在监督学习中，我们给学习算法一个数据集，比如一系列房子的数据，给定数据集中每个样本的正确价格，即它们实际的售价然后运用学习算法，算出更多的答案，我们需要估算一个连续值的结果，这属于回归问题
这个过程实质上是将市场测试、 收集反馈和产品迭代反复进行，直到能以最小的误差实现最大的市场渗透率。此循环重复多次，并确保消费者可以在每个步骤中提供一定的反馈来影响产品的更改策略。
1）市场调研后进行产品构建 2）产品商业化并进入市场 3）评估消费者满意度和市场渗透率 4）对反馈及时回应，并更新迭代产品 5）重复上述过程
Transformer因其捕捉长序列交互的能力而在时间序列预测中备受青睐。然而，尽管计算感知的自注意力模块取得了许多进展，但其对内存和计算的需求仍然是长期预测的一个关键瓶颈。
今天为大家介绍的是来自清华研究大学团队的一篇论文。单细胞RNA测序（scRNA-seq）数据是理解“生命之语”的强大工具，能为各种生物医学任务提供新见解。近来，大规模语言模型（LLMs）开始用于细胞表征学习。但现有基于BERT架构的细胞表征学习方法存在问题，它们产生的嵌入空间不均匀，导致语义表达效率不高。对比学习通过均匀分布嵌入来解决这个问题。然而，对比学习中更大的批量大小能带来更好的表征，但scRNA-seq数据的高维性和LLMs的大参数量限制了其实际应用。为解决这个问题，作者提出了一种新颖的“分而治之”对比学习方法，它能够解耦批量大小和GPU内存大小的关系，用于细胞表征学习。基于这种方法，作者介绍了单细胞语言模型（CellLM），这是一个大规模的细胞表征学习模型，能够处理包含成千上万基因的高维scRNA-seq数据。CellLM拥有超过5000万个参数，利用200万个scRNA-seq数据进行训练，它是首次尝试从正常细胞和癌细胞中学习细胞语言模型。CellLM在所有评估的下游任务中都达到了新的最先进水平。
您可以使用这20个提示，技巧和技术来解决过度拟合问题并获得更好的通用性
想做计算机视觉？深度学习是最近的发展方向。大规模数据集加上深度卷积神经网络（CNNs）的表征能力使得超精确和稳健的模型成为可能。现在只剩下一个挑战：如何设计你的模型。
神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。通过训练神经网络模型解决的优化问题非常具有挑战性，尽管这些算法在实践中表现出色，但不能保证它们会及时收敛到一个良好的模型。
在训练过程中，每层输入的分布不断的变化，这使得下一层需要不断的去适应新的数据分布，这就会让训练变得非常复杂而且缓慢。为了解决这个问题，就需要设置更小的学习率、更严格的参数初始化。通过使用批量归一化(Batch Normalization, BN)，在模型的训练过程中利用小批量的均值和方差调整神经网络中间的输出，从而使得各层之间的输出都符合均值、方差相同高斯分布，这样的话会使得数据更加稳定，无论隐藏层的参数如何变化，可以确定的是前一层网络输出数据的均值、方差是已知的、固定的，这样就解决了数据分布不断改变带来的训练缓慢、小学习率等问题。
近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，让我们朝着虚拟数字人又迈进了一步。
对于目标检测，两阶段方法(如Faster R-CNN)的准确率最高，而单阶段方法(如SSD)的效率较高。为了在继承两种方法优点的同时克服它们的缺点，本文提出了一种新的单阶段检测器，称为RefineDet，它比两阶段方法具有更好的精度，并保持了与单阶段方法相当的效率。RefineDet由两个相互连接的模块组成，即锚点细化模块和目标检测模块。具体来说，前者的目的是(1)过滤掉负锚点，减少分类器的搜索空间，(2)粗调锚点的位置和大小，为后续回归器提供更好的初始化。后一个模块以改进后的锚为输入，进一步改进回归，预测多类标签。同时，我们设计了一个传输连接块来传输锚点细化模块中的特征，以预测目标检测模块中目标的位置、大小和类标签。多任务丢失功能使我们能够以端到端方式训练整个网络。在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO上的大量实验表明，RefineDet能够以高效的方式实现最先进的检测精度。
1、将输入图像传递到第一个卷积层中，卷积后以激活图形式输出。 图片在卷积层中过滤后的特征会被输出，并传递下去 2、每个过滤器都会给出不同的特征，以帮助进行正确的类预测。 因为需要保证图像大小的一致，所以使用同样的填充（零填充）， 否则填充会被使用，因为它可以帮助减少特征的数量 零填充，可以理解为特征稀疏化，留下来的特征更能代表这个图像 3、随后加入池化层进一步减少参数的数量 4、在预测最终提出前，数据会经过多个卷积和池化层的处理。 卷积层会帮助提取特征，越深的卷积神经网络会提取越具体的特征， 越浅的网络提取越浅显的特征 5、CNN 中的输出层是全连接层，其中来自其他层的输入在这里被平化和发送， 以便将输出转换为网络所需的参数 6、随后输出层会产生输出，这些信息会互相比较排除错误。 损失函数是全连接输出层计算的均方根损失。随后我们会计算梯度错误 7、错误会进行反向传播，以不断改进过滤器（权重）和偏差值 8、一个训练周期由单次正向和反向传递完成
2017 年年中，R 推出了 Keras 包 _，_这是一个在 Tensorflow 之上运行的综合库，具有 CPU 和 GPU 功能。本文将演示如何在 R 中使用 LSTM 实现时间序列预测。
本文约1700字，建议阅读5分钟本文将演示如何在 R 中使用 LSTM 实现时间序列预测。 全文链接：http://tecdat.cn/?p=25133 2017 年年中，R 推出了 Keras 包
项目链接：https://github.com/madalinabuzau/tensorflow-eager-tutorials
吴恩达（Andrew Ng），毫无疑问，是全球人工智能（AI）领域的大 IP！然而，吴恩达从最早的 CS229，到后来的 deeplearning.ai 深度学习专项课程，还有其它 AI 资源，大神发布的 AI 知名课程和资料非常多。
选自arXiv 机器之心编译 参与：刘晓坤、李泽南 今年 2 月份，百度提出了完全由深度神经网络构建的高质量文本转语音（TTS）系统 Deep Voice。这一系统随后在今年五月份推出了第二个版本。近日，百度发布了 Deep Voice 3，该研究的论文已经提交 ICLR 2018 大会。 人工语音合成（亦称文本到语音，TTS）传统上都是以复杂的多态手工设计管道（Taylor, 2009）实现的。最新的对神经 TTS 的研究出现了令人印象深刻的结果—放弃管道并用更简单的特征、更少的组成获得了更高质量的合成语
TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa
深度学习入门系列1：多层感知器概述 深度学习入门系列2：用TensorFlow构建你的第一个神经网络 深度学习入门系列3：深度学习模型的性能评价方法 深度学习入门系列4：用scikit-learn找到最好的模型 深度学习入门系列5项目实战：用深度学习识别鸢尾花种类 深度学习入门系列6项目实战：声纳回声识别 深度学习入门系列7项目实战：波士顿房屋价格回归 深度学习入门系列8：用序列化保存模型便于继续训练 深度学习入门系列9：用检查点保存训练期间最好的模型 深度学习入门系列10：从绘制记录中理解训练期间的模型行为 深度学习入门系列11：用Dropout正则减少过拟合 深度学习入门系列12：使用学习规划来提升性能 深度学习入门系列13：卷积神经网络概述 深度学习入门系列14：项目实战：基于CNN的手写数字识别 深度学习入门系列15：用图像增强改善模型性能 深度学习入门系列16：项目实战：图像中目标识别 深度学习入门系列17：项目实战：从电影评论预测情感 深度学习入门系列18：循环神经网络概述 深度学习入门系列19：基于窗口（window）的多层感知器解决时序问题 深度学习入门系列20：LSTM循环神经网络解决国际航空乘客预测问题 深度学习入门系列21：项目：用LSTM+CNN对电影评论分类 深度学习入门系列22：从猜字母游戏中理解有状态的LSTM递归神经网络 深度学习入门系列23：项目：用爱丽丝梦游仙境生成文本
作者：Sandeep Bhupatiraju 剧透警告：摩斯电码并不需要破解。它很有用，因为消息可以使用这些代码以最少的设备发送，并且我说它不需要破解，因为代码是众所周知的，点和破折号的组合并不是什么秘密。但是，从理论上讲，它是一种替代密码（substitution cipher）， 每个字母（和每个数字）的每个字母都有一些使用点和破折号的表示形式，如下所示。 让我们暂停我们的怀疑，并假设我们收到摩尔斯电码的消息，但我们不知道如何阅读它们。假设我们还有一些代码的例子及其相应的单词列表。现在，
虽然两级检测器取得了巨大的成功，但是单级检测器仍然是一种更加简洁和高效的方法，在训练过程中存在着两种众所周知的不协调，即正、负样本之间以及简单例子和困难例子之间在数量上的巨大差异。在这项工作中，我们首先指出，这两个不和谐的本质影响可以用梯度的形式来概括。此外，我们提出了一种新的梯度协调机制(GHM)来对冲不协调。GHM背后的原理可以很容易地嵌入到交叉熵(CE)等分类损失函数和smooth l1 (SL1)等回归损失函数中。为此，我们设计了两种新的损失函数GHM-C和GHM-R来平衡梯度流，分别用于anchor分类和bounding box细化。MS COCO的消融研究表明，无需费力的超参数调整，GHM-C和GHM-R都可以为单级探测器带来实质性的改进。在没有任何附加条件的情况下，该模型在COCO test-dev set上实现了41.6 mAP，比目前最先进的Focal Loss(FL) + SL1方法高出0.8。
2017 年年中，R 推出了 Keras 包 _，_这是一个在 Tensorflow 之上运行的综合库，具有 CPU 和 GPU 功能
Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper , we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A topdown architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art singlemodel results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 6 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.
本文为机器之心编译：该术语库项目目前收集了人工智能领域 700 多个专业术语，但仍需要与各位读者共同完善与修正。本文编译自谷歌开发者机器学习术语表项目，介绍了该项目所有的术语与基本解释。 A 准
选自Google Developers 机器之心编译 机器之心曾开放过人工智能术语集 ，该术语库项目目前收集了人工智能领域 700 多个专业术语，但仍需要与各位读者共同完善与修正。本文编译自谷歌开发者机器学习术语表项目，介绍了该项目所有的术语与基本解释。之后，我们也将表内术语更新到了机器之心 GitHub 项目中。 机器之心人工智能术语项目：https://github.com/jiqizhixin/Artificial-Intelligence-Terminology A 准确率（accuracy） 分类
神经网络 (neural network) 受到人脑的启发，可模仿生物神经元相互传递信号。神经网络就是由神经元组成的系统。如下图所示，神经元有许多树突 (dendrite) 用来输入，有一个轴突 (axon) 用来输出。它具有两个最主要的特性：兴奋性和传导性：
来源：机器之心 本文长度为12243字，建议阅读8分钟 本文编译自谷歌开发者机器学习术语表项目，介绍了该项目所有的术语与基本解释。 A 准确率（accuracy） 分类模型预测准确的比例。在多类别分类中，准确率定义如下： 在二分类中，准确率定义为： 激活函数（Activation function） 一种函数（例如 ReLU 或 Sigmoid），将前一层所有神经元激活值的加权和输入到一个非线性函数中，然后向下一层传递该函数的输出值（典型的非线性）。 AdaGrad 一种复杂的梯度下降算法，重新
机器之心曾开放过人工智能术语集 ，该术语库项目目前收集了人工智能领域 700 多个专业术语，但仍需要与各位读者共同完善与修正。本文编译自谷歌开发者机器学习术语表项目，介绍了该项目所有的术语与基本解释。之后，我们也将表内术语更新到了机器之心 GitHub 项目中。 机器之心人工智能术语项目：https://github.com/jiqizhixin/Artificial-Intelligence-Terminology A 准确率（accuracy） 分类模型预测准确的比例。在多类别分类中，准确率定义如下：
扩展深度神经网络（DNN）训练对于减少模型训练时间非常重要。高通信消耗是在多个 GPU 上进行分布式 DNN 训练的主要性能瓶颈。商汤的这项研究表明流行的开源 DNN 系统在以 56 Gbps 网络连接的 64 个 GPU 上仅能实现 2.5 倍的加速比。为解决该问题，这项研究提出了通信后端 GradientFlow 用于分布式 DNN 训练，并使用了一系列网络优化技术。
来源：DeepHub IMBA本文约1000字，建议阅读5分钟本片文章将对词嵌入的模型做一个完整的总结。 TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa 词嵌入在深度模型中的作用是为下游任务(如序列标记和文本分类)提供输入特征。在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结。 与上下文无关 这类模型学习到的表征的特点是，在不考虑单词上下文的情况下，每个单词都是独特的和不同的。 不需要学
问题导读 1.什么是机器学习模型？ 2.机器学习数学符号是如何认识的？ 3.损失函数的作用是什么？ 我们可能听说过机器学习、深度学习。可是我们可能觉得非常神秘或则难懂。有这种感觉，是因为对人工智能缺乏了解造成的。深度学习和我们的传统编程其实是差不多的，关键是我们要懂里面的逻辑，或则说知识，或则说门道，懂了这些，我们机器学习就会比较简单了。这里给大家说说，我们经常听到的“模型”，什么是机器学习模型，模型训练，怎么个训练法。 提前说明的是，这里我们举例，举例的时候大家可能看到一些特殊的符号就懵逼了，其实这都是我们的错觉造成的，比如2的N次方，我们知道它是2*2*2.。N，这是它表示的含义。可能当我们看到
通知：这篇文章有15篇论文速递信息，涉及目标检测、目标跟踪、姿态估计、SLAM、GAN、行为识别、去雾、网络优化等方向 创办CVer公众号，渐渐半个多月了，很感谢得到这么多童鞋的关注和支持。特别是看到后台有人给我留言：加油，我很喜欢你的公众号。我心里很满足，也很有动力。 我尽量维持1.5day频率的更新速度，但写一篇推文确实太耗时间了，哪怕暂时是以“译文”为主的文章。在此向那些奉献知识的工作者表示致敬。 最近有同学建议我，可以开启打赏功能，分享知识的同时，获得物质上的赞赏，也是作为对你的工作一种肯定。我没有
1. 为了得到训练逻辑回归模型的参数，需要一个代码函数，通过训练代价函数来得到参数。
机器之心报道 编辑：杜伟、陈萍 基于残差量化的自回归图像生成，官方已将代码公开。 向量量化（Vector quantization，VQ）已经成为自回归（AR）模型生成高分辨率图像的一种基本技术，具体来说，该技术将图像特征图通过 VQ 量化后，再进行光栅扫描等排序，之后将图像表示为离散编码序列。量化后，训练的 AR 模型对序列中的编码进行序列预测。也就是说，AR 模型可以生成高分辨率的图像，而无需预测图像中的全部像素。 我们假设减少编码的序列长度对于图像的 AR 建模很重要。短编码序列可以显着降低 AR 模
前言：昨天看到一条爆炸性新闻—"PyTorch Hub发布！一行代码调用最潮模型"，在我们调参圈简直震惊了！要是所有模型都能一行命令解决，我也不用一天到晚当调参这么苦兮兮T_T。不过我突然想起，上个月我还用过PaddleHub做Fine-tune，很好用，咋没人推荐呢？好用的东西当然要跟大家分享，所以我做了一个非官方测评，三分钟带大家了解PaddleHub！
1）神经元（Neuron）：就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络里，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。
机器学习模型的应用方法多种多样，不一而足。 例如，在客户流失预测中，当客户呼叫服务时，系统中便可以查找到一个静态统计值，但对于特定事件来说，系统则可以获得一些额外值来重新运行模型。
我们的第一个学习算法是线性回归算法。在这段视频中，你会看到这个算法的概况，更 重要的是你将会了解监督学习过程完整的流程。 模型表示（Model Representation） 让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数 据集包含俄勒冈州波特兰市的住房价格。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。 它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们： 根据我们的数据来说，房子实际的价格是多少，而且，更具体来说
作者简介 李媚，酒店数据智能组应用开发工程师。2016年加入携程，先后负责了酒店交叉推荐，优选频道个性化酒店排序等服务开发工作。 一、前言 近年来人工智能的发展成果在互联网行业得到了广泛的推崇和应用，各大巨头纷纷借助AI打造个性化、精细化服务, 加速扩张生态领域。从推荐系统到实时风控，从广告系统到图像处理，模型服务在携程各个业务领域发挥着日益重要的作用。然而回顾现有的模型上线模式，不难发现仍存在一定的缺陷： 1、训练数据准备工作需要手工完成。数据清洗和特征挖掘是模型训练的前期工作，既包括从原始数据清洗出特征
它由节点层组成，其中每个节点连接到上一层的所有输出，每个节点的输出连接到下一层节点的所有输入。
RetinaNet 是通过对单目标检测模型 (如 YOLO 和 SSD) 进行两次改进而形成的：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
