上个星期我做了一些实验，用了在 CIFAR10 数据集上训练的 VGG16。我需要从零开始训练模型，所以没有使用在 ImageNet 上预训练的版本。...学习模型过程中出现错误时，检查一下梯度的表现通常是一个好主意。我们可以使用下面的方法得到每层梯度的平均值和标准差： ? 然后将它们画出来，我们就得到了以下内容： ?...以下是何恺明论文中的关键思想，他们展示了初始化应该具备的条件，以便使用 ReLU 激活函数正确初始化 CNN。这里会需要一些数学知识，但是不必担心，你只需抓住整体思路。...然而，由于我们使用的是 ReLU 激活函数，所以就有了： ? 因此： ? 这就是一个单独卷积层的输出的方差，到那时如果我们想考虑所有层的情况，就必须将它们乘起来，这就得到了： ?...因此，为了拥有表现良好的 ReLU CNN，下面的问题必须被重视： ? 作者比较了使用标准初始化（Xavier/Glorot）[2] 和使用它们自己的解初始化深度 CNN 时的情况： ?
例如，使用Caffe2在Python中创建CNN，然后在Julia中使用KNet复制这个网络，或者也可以在PyTorch中尝试创建一个RNN并在Tensorflow中复制它。...相反，它会提示我们去检查想要的匹配（？），以确保我们正在比较的是相同的模型架构。...这里有一个很好的基准，我将尝试更新使用CudnnLSTM的样例而不是当前的方法。...1、上面的例子（Keras除外），为了便于比较，尝试使用相同级别的API，因此都使用相同的生成器函数。 对于MXNet和CNTK，我尝试了一个更高级别的API，在这里我使用了框架的训练生成器函数。...CNTK是channels first，我曾经在Keras上错误的配置为channels last。这样就必须在每一个batch上改变它的顺序，同时会造成性能严重的下降。
我强烈建议你要扩展原始的数据集。如果你的是一个视觉任务，可以增加噪点、增白，减少像素，旋转或色移，模糊，等等可以扩展的一切。有一点不好的是，假如你扩展得太大，可能训练的数据大多数是相同的。...我创建了一个应用随机变换的层来解决这个问题，这样就不会有相同的样本。若果你用的是语音数据，可以进行移位和失真处理。...了解你正在使用的结构以及你试图达成的目的，才不至于盲目地复制模型。 提升算法性能思路 这个列表里提到的思路并完全，但是一个好的开始。...这依旧是一个好的经验法则，但是我想更深入一点。我建议你可以参考下述方法来创造一些训练数据的不同的版本： 归一化到0和1的区间。...但是咱们这么想想，即使你列出了3-5个可供替代的建构方案，而且最终还是放弃了它们，但这至少说明你对当前的方案更加自信了。 看看能够在一个时间窗（时间周期）内对已有的特征/数据做一个合并。
有一点不好的是，假如你扩展得太大，可能训练的数据大多数是相同的。我创建了一个应用随机变换的层来解决这个问题，这样就不会有相同的样本。若果你用的是语音数据，可以进行移位和失真处理。...了解你正在使用的结构以及你试图达成的目的，才不至于盲目地复制模型。 提升算法性能思路 这个列表里提到的思路并完全，但是一个好的开始。...我的目的是给出很多可以尝试的思路，希望其中的一或两个你之前没有想到。你经常只需要一个好的想法就能得到性能提升。 如果你能从其中一个思路中得到结果，请在评论区告诉我。我很高兴能得知这些好消息。...这依旧是一个好的经验法则，但是我想更深入一点。我建议你可以参考下述方法来创造一些训练数据的不同的版本： 归一化到0和1的区间。...但是咱们这么想想，即使你列出了3-5个可供替代的建构方案，而且最终还是放弃了它们，但这至少说明你对当前的方案更加自信了。 看看能够在一个时间窗（时间周期）内对已有的特征/数据做一个合并。
复制它(使用左上角的file→make a copy选项)，然后你可以尝试一下，看看不同的控制杆是如何影响模型的预测的。...我正在对他们的工作做一个小的扩展，并把它放在google sheets上，这样每个人都更容易使用。 ? 我是怎么建造它的?...注意：我在工作表中添加了条件格式，这样“墨水”越多的像素显示越红。 我用一个叫做Keras的流行深度学习库来训练模型（见这里的代码），然后把从模型中训练出来的权重放在表格里。训练过的权重只是数字。...把它放在纸上，这意味着从我的模型复制并粘贴一堆数字到纸上。最后一步是添加公式来复制模型的功能，这只是常规的乘法和加法。让我重申一下：复制深度学习模型预测的数学止于乘法和加法[1]。...“这就是“深层”的多重层次的东西。因为现在我们有了图像的“左边缘”、“上边缘”和其他简单的“过滤器”，我们可以添加另一层，并对之前的所有过滤器运行卷积，然后合并它们！
我强烈建议你要扩展原始的数据集。如果你的是一个视觉任务，可以增加噪点、增白，减少像素，旋转或色移，模糊，等等可以扩展的一切。有一点不好的是，假如你扩展得太大，可能训练的数据大多数是相同的。...了解你正在使用的结构以及你试图达成的目的，才不至于盲目地复制模型。 提升算法性能思路 这个列表里提到的思路并完全，但是一个好的开始。...例如，对问题进行新的架构或者获取更多的数据，通常比调整最优算法的参数能带来更好的效果。虽然并不总是这样，但是通常来讲是的。...这依旧是一个好的经验法则，但是我想更深入一点。我建议你可以参考下述方法来创造一些训练数据的不同的版本： 归一化到0和1的区间。...但是咱们这么想想，即使你列出了3-5个可供替代的建构方案，而且最终还是放弃了它们，但这至少说明你对当前的方案更加自信了。 看看能够在一个时间窗（时间周期）内对已有的特征/数据做一个合并。
可以发现，2016 年误差率降到了 5%，已经超越人类水平。 深度学习的引入与其说是改变规则，不如说是在打破规则。 卷积神经网络架构 那么问题来了，卷积神经网络到底是怎么运作的呢？ ?...来自 Mynepalli 的深度卷积神经网络图 要想深入理解 CNN，你需要学习很多基础知识，比如什么是核，什么是池化层。但是现在有很多优秀的开源项目，你可以直接在他们的基础上进行研究并加以利用。...它们的高阶 API keras，在入门者中很受欢迎。 Pytorch，我最喜欢的深度学习框架。纯 Python 实现，因此继承了 Python 的各种优缺点。Python 开发者会很容易上手。...当然如果第一次尝试就得到这么好的分数，应该还有进步的空间。 所以，我调整了网络结构，又尝试了一次。 ? 得分为 1！我做到了！！所以你也可以，实际上并不是那么困难。...并且由于已经有很多人得满分了，我觉得主办方应该另外创建一个用于提交的测试集，难度最好更高一点。 不管怎么样，从这个项目开始基本没有什么困难。你可以马上尝试并且获得高分。 ?
本文从基础入手，介绍了卷积网络的基本原理以及相关的其它技术，并利用卷积网络做了一个简单项目作为示例参考。想入手 CNN 的朋友不可错过~ ? 首先，我们先看看下面这张照片： ?...来自 Mynepalli 的深度卷积神经网络图 要想深入理解 CNN，你需要学习很多基础知识，比如什么是核，什么是池化层。但是现在有很多优秀的开源项目，你可以直接在他们的基础上进行研究并加以利用。...它们的高阶 API keras，在入门者中很受欢迎。 Pytorch，我最喜欢的深度学习框架。纯 Python 实现，因此继承了 Python 的各种优缺点。Python 开发者会很容易上手。...当然如果第一次尝试就得到这么好的分数，应该还有进步的空间。 所以，我调整了网络结构，又尝试了一次。 ? 得分为 1！我做到了！！所以你也可以，实际上并不是那么困难。...并且由于已经有很多人得满分了，我觉得主办方应该另外创建一个用于提交的测试集，难度最好更高一点。 不管怎么样，从这个项目开始基本没有什么困难。你可以马上尝试并且获得高分。 ?
版本，并设置 CNTK 为 Keras 的默认后端。...我选取了强调不同神经网络架构的几个例子（https://github.com/minimaxir/keras-cntk-benchmark/tree/master/test_files），并添加了一个自定义...对于下一个基准测试，我将不使用官方的 Keras 示例脚本，而是使用我自己的文本生成器架构（text_generator_keras.py），详见之前关于 Keras 的文章（http://minimaxir.com...显然，我的模型架构导致 CNTK 在预测时遇到错误，而「CNTK+简单的 LSTM」架构并没有发生这种错误。...CNTK 在 LSTM/MLP 上更快，TensorFlow 在 CNN/词嵌入（Embedding）上更快，但是当网络同时实现两者时，它们会打个平手。
基本上，假设我们构建一个CNN，目标是将人的照片分类为“男人”和“女人”，然后我们给它提供一个新照片，它返回标签“男人”。有了CAM工具，我们就能看到图片的哪一部分最能激活“Man”类。...为了达到这个目的，我会使用一个在ImageNet上预训练好的CNN, Resnet50。 我在这个实验中要用到的图像是，这只金毛猎犬： ?...如你所见，第一个结果恰好返回了我们正在寻找的类别：Golden retriver。 现在我们的目标是识别出我们的照片中最能激活黄金标签的部分。...这个想法是这样的：想象我们有一个训练好的CNN，我们给它提供一个新的图像。它将为该图像返回一个类。...然后，如果我们取最后一个卷积层的输出特征图，并根据输出类别对每个通道的梯度对每个通道加权，我们就得到了一个热图，它表明了输入图像中哪些部分对该类别激活程度最大。 让我们看看使用Keras的实现。
此开源代码：这是在 Python 3，Keras 和 TensorFlow 上实现 Mask R-CNN 。该模型为图像中对象的每个实例生成边界框和分割蒙版。...类名 模型对对象进行分类并返回类 ID，类 ID 是标识每个类的整数值。有些数据集将整数值赋给它们的类，而有些则没有。...列表中类名的索引表示其 ID（第一个类是 0，第二个类是 1，第三个类是 2，…等等）。...我这里注释掉了前两句，采用读取自己准备的照片，这里是我的母校照片。 ? 大家只需要将 image_file 改为自己准备照片地址即可。...'_is_graph_network' 解决方法： 降级Keras到2.1.6可以解决这个问题 pip install keras==2.1.6 加速安装 pip install keras==2.1.6
这是腾讯云加社区共创官的选题互换挑战赛，一搭眼看到了这个题目，因为之前写过 自己制作数据集并训练，这无非是换个数据源进行训练而已，于是果断选择了这个题目但是之前学的知识已经忘得差不多了，然后突发奇想，这种模型的训练应该是很入门的了...，网上教程一大堆，既然网上有相关的知识，那大模型应该能够应付得了，于是乎决定用 AI 训练一个 AI训练数据是个比较麻烦的事情，想要让 AI 能够识别猫和狗，首先你得给他足够多的图片，让他知道什么样的是猫...这里，我将给出一个使用TensorFlow和Keras进行分类的简单示例。这个例子将会展示如何加载数据、构建一个简单的卷积神经网络（CNN）模型进行训练，以及如何测试模型。...你可以使用以下脚本来自动地创建这样的结构（如果还没有的话）：import osimport shutil# 源文件夹路径source_dir = 'path/to/your/train/'# 目标文件夹路径...，这里就不用给的脚本移动图片了，我建个文件夹复制粘贴的事情比用脚本方便多了哈哈哈然后复制他的脚本，重命名为 train.py，运行脚本就正常进行训练啦训练结束就得到了一个 200 多 MB 的模型再用
该数据集是由我们的客户捕获的3D重建空间创建的，这些客户同意将其公开供学术使用。您可以在此处查看更多示例。 1....最初的快速R-CNN实现中的更多细节。 如果您使用Docker，则已验证代码可以在 此Docker容器上运行。...我这里注释掉了前两句，采用读取自己准备的照片，这里是我的母校照片。 大家只需要将image_file改为自己准备照片地址即可。...'_is_graph_network' 解决方法： 降级Keras到2.1.6可以解决这个问题 pip install keras==2.1.6 加速安装 pip install keras=...或者，也许官方模型使用渐变剪辑来避免这个问题。我们使用渐变剪辑，但不要过于激进。我们发现较小的学习率无论如何都会更快收敛，所以我们继续这样做。
我鼓励大家使用谷歌协作笔记本，因为所需的模块已经安装好了，基础设施也准备好了。现在，让我们开始吧! 下载并加载数据 数据下载使用只需要一个简单的命令- !...建立DHL模型和训练 我们将使用一个简单版本的深度混合学习架构来解决这个问题。如前所述，我们将使用带有后期融合技术的深度学习变体。模型架构是这样的: ?...模型架构的代码如下所示: # DHL Fusion model of 1D CNN and LSTM model = tf.keras.models.Sequential([ tf.keras.layers.Conv1D...在本文的最后，我将给出一些如何处理这个问题的提示，以使模型更好，但我们可以看到，随着训练时间的增加，模型损失在减少，这是一个很好的迹象，表明模型正在学习。...在我使用TensorFlow的深度学习进行后期时间序列预测时，我只使用了一个简单的深度神经网络就得到了更好的结果。
他写到： 你好，Adrian，感谢PyImageSearch，感谢你每周都分享你的知识。我正在构建一个时尚图像的搜索引擎，我需要你的帮助。...是否有办法让这三个CNN合并为一个CNN呢？或者至少训练一个神经网络来完成三项分类任务？ 我不想在if / else代码的级联中单独应用它们，这些代码使用不同的网络，具体取决于先前分类的输出。...图片2：被我称为“SmallerVGGNet”的类VGGNet神经网络，我们将用它基于Keras训练一个多标签深度学习分类器 本教程中我所用到的CNN架构是SmallerVGGNet，一个简化版本的VGGNet...在迭代过程中我喜欢讲图片存至硬盘上出于几个原因： 我在一个无界面的后台服务器上运行代码，也并不想依赖于X-forwarding 我不想忘记保存图片（即使我正在使用X-forwarding或是我正使用一个拥有图形化界面的机器...颜色被标注为“黑色”但是比起说这张图是一张“裙子”的图片，我们的分类器拥有更高的信心说这张图是一张“牛仔裤”的图片。 这是因为我们的神经网络在训练集中从来没有看见过这样的组合。
我将这些想法汇集到了这篇博客中，这些想法不仅能在机器学习上为你提供帮助，而且实际上也适用于任何机器学习算法。 提升算法的表现的想法 这份列表并不是完整的，但是却是一个很好的开始。...这很难，尤其是当你现阶段已经投资了你的自负、时间和金钱。 即使你只是列出了 3 到 5 个备用的框架并让它们打了折扣，至少你正在你选择的方式中建立你的信心。...现在，我们不是要解决所有可能的问题，但是在所有算法中最新最热的那个不一定是你处理某个特定训练集最好的方法。我的建议是收集证据。想象可能会有更好的算法并给它们一个处理你问题的公平的机会。...尝试一个隐藏层包含很多个神经元（宽） 尝试每层只有少量神经元的深度网络（深） 尝试将以上结合起来 从最新的论文中找出与你类似的架构并尝试它们 尝试拓扑模式（扇出然后扇入）和书与论文中的好的经验规则（见下面链接...一些网络架构要比其他架构对 batch 的大小更敏感。我认为多层感知机对 batch 大小比较稳健，LSTM 和 CNN 比较敏感，但这只是传闻。
这是一个很好的包含足够数量的注释并且使用额外参数来增强模型的实践，但是与此同时这会分散架构本质的注意力。为了更加简化和缩短代码，我将使用一些别名函数： ? 我发现当删除模版代码时更具有可读性。...基数（cardinality）是指出现在模块中的平行路径数。这听起来像inception块并行发生的四个操作。然而，并非并行使用不同类型的操作，基数为4时是简单的使用相同操作四次。...左侧：ResNet块 右侧：参数复杂度大致相同的ResNeXt块 这里有很多东西需要消化。利用上图可以直观了解其如何起作用的，也可以直接复制这些代码，以便自己用Keras构建一个小型网络。...我的复杂描述可以用这9行简单的代码总结出来，难道不是很棒吗？ 顺便提一下，如果基数与通道的数量相同我们会得到一个称为深度可分离卷积的东西。自从引入了Xception架构以来，得到了广泛的使用。...由此产生的架构不仅再在CIFAR-10上表现良好，它也在ImageNet得到了杰出的结果。NASNet由标准单元和还原单元组成，它们彼此重复。 ? 这是你如何在Keras中使用标准单元的代码。
本系列的最终目标是帮助你构建功能全面的深度学习应用程序 – 将此系列作为灵感和出发点来帮助你构建自己的深度学习应用程序。 让我们继续开始，并开始使用Keras和深入的学习来训练CNN。...我们的Keras和CNN架构 ?...VGGNet类架构的特点是： 只使用3×3卷积层堆叠在一起，增加深度 通过最大池化来减小卷大小 softmax分类器之前网络末端的完全连接层 我假设你已经在你的系统上安装并配置了Keras。...让我们继续并实施 SmallerVGGNet ，我们的小版本VGGNet。创建一个名为smallervggnet的新文件 。...如果这个过程让你感到困惑，我鼓励你打开一个Python shell，并通过在你的操作系统各自的路径分隔符上分割路径来探索一个示例 imagePath。 让我们继续前进。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
