然而，当我们在深度学习和卷积神经网络的背景下听到“ImageNet”一词时，我们可能会提到ImageNet视觉识别比赛，称为ILSVRC。...自2012年以来，卷积神经网络和深度学习技术主导了这一比赛的排行榜。 在过去几年的ImageNet比赛中，Keras有几个表现最好的CNN（卷积神经网络）模型。...第25-31行定义了MODELS字典，它将模型名称字符串映射到相应的类。 如果在MODELS中找不到--model名称，将抛出AssertionError（第34-36行）。...然而，一旦权重文件被下载下来，他们将不需要重新下载，再次运行classify_image.py会非常快。 模型现在已经加载并准备好进行图像分类 - 我们只需要准备图像进行分类： ?...总结 简单回顾一下，在今天的博文中，我们介绍了在Keras中五个卷积神经网络模型： VGG16 VGG19 ResNet50 Inception V3 Xception 此后，我演示了如何使用这些神经网络模型来分类图像
最后，我们介绍了本书其余部分将使用的留出验证方法，以及为什么对于大多数深度神经网络应用，我们都更喜欢 K 折 CV。 当我们在以后的章节中重新审视这些主题时，我们将大量参考本章。...众所周知，我时不时地会犯一个错误，而当错误发生在一个深度神经网络内部时，该深度神经网络位于一个框架内，该框架在另一个框架上运行，在一个 GPU 上运行，很难找到这些错误。 他们。...幸运的是，这确实很容易实现，它为我们提供了一个很好的机会来了解 Keras 中称为 Keras 回调的特殊函数类。 引入 Keras 回调 Keras 中的回调是可以在训练过程中运行的函数。...为了解决问题，我将网络中的每个神经元初始化为完全相同的值。 发生这种情况时，每个神经元在反向传播期间收到的误差是完全相同的，并且更改的方式也完全相同。 网络然后无法破坏对称性。...优点 当我们需要预测大量类时，相对于其他模型，深度神经网络的确是出色的执行者。 当输入向量中的特征数量变大时，神经网络自然适合。 当这两种情况都集中在同一个问题上时，我可能就是从那里开始的。
翻译：陈丹 校对：和中华 本文为大家介绍了如何使用Keras来快速实现一个神经网络。 回忆起我第一次接触人工智能的时候，我清楚地记得有些概念看起来是多么令人畏惧。...Keras是一个用Python编写的高级API，它运行在诸如TensorFlow、Theano等流行框架之上，为机器学习实践者提供了一个抽象层，以减少编写NNS的固有复杂性。...是时候烧点GPU了 在本教程中，我们将把tensorflow作为后端来使用keras，因此如果您还没有安装其中任何一个，现在是这样做的好时机。您只需在终端中运行这些命令就可以实现这一点。...你刚刚构建了你自己的神经网络，重塑和编码了一个数据集，并且训练了你的模型！当您第一次运行python脚本时，keras将下载mnist数据集并将遍历训练5次！...你的测试准确率应该在98%左右，这意味着模型在运行测试时预测正确了98%的数字，对你的第一个nn来说还不错！在实践中，您需要查看测试和训练结果，以了解您的模型是否过拟合/欠拟合。
现在，我不仅对深度学习有了全面的理解，还在此基础上有了好想法，因为我的基础很扎实。随意地应用神经网络是一回事，理解它是什么以及背后的发生机制是另外一回事。...今天，我将与你共享我的心得，展示我如何上手卷积神经网络并最终弄明白了它。我将做一个通盘的展示，从而使你对 CNN 的工作机制有一个深入的了解。...在本文中，我将会讨论 CNN 背后的架构，其设计初衷在于解决图像识别和分类问题。同时我也会假设你对神经网络已经有了初步了解。 目录 1.机器如何看图？ 2.如何帮助神经网络识别图像？...我们完全丢失了像素的空间排列。 我们能做什么呢？可以尝试从原图像中提取特征，从而保留空间排列。 案例 1 这里我们使用一个权重乘以初始像素值。 ? 现在裸眼识别出这是「4」就变得更简单了。...我们采取 2D 矩阵权重，把像素在水平和垂直方向上结合起来。同样，记住已经有了水平和垂直方向的权重运动，输出会在水平和垂直方向上低一个像素。 ?
在训练网络时，权重会更新，这样网络就能尝试匹配输出值与目标值。简而言之，神经网络就是学习输入和输出之间的映射。现在，让我们一起来看看所有这些是什么意思。...我们的任务是向其提供任何数字，网络应更改该数字的符号。例如，如果输入3，则网络应输出-3。 利用Keras创建神经网络 现在，我将在Keras中构建并训练最小的神经网络，这是一个深度学习库。...训练之前的权重 现在把数据放入网络中进行拟合。拟合只不过是训练的另一个名称。 训练网络 我们已经训练完了网络。正如你在进度条中看到的一样，网络是在10万个样本上训练的。...训练后的权重 当我们对网络进行数据训练时，权重从0.42变为-1左右。很显然，一个数字只有乘以-1才能改变该数字的符号。...图源：ofoto.cc 作为一个函数逼近器，基本上神经网络可以通过调整它的权值来学习任何输入值和输出值之间的映射。一旦它学会了这种映射，它就可以给任何一个输入值生成一个近似的输出值。
我将借鉴自己的经验，列出微调背后的基本原理，所涉及的技术，及最后也是最重要的，在本文第二部分中将分步详尽阐述如何在 Keras 中对卷积神经网络模型进行微调。 首先，为什么对模型进行微调？...当我们得到一个深度学习任务时，例如，一个涉及在图像数据集上训练卷积神经网络（Covnet）的任务，我们的第一直觉将是从头开始训练网络。...然而，在实践中，像 Covnet 这样的深度神经网络具有大量的参数，通常在百万数量级。在一个小的数据集（小于参数数量）上训练一个 Covnet，会极大的影响网络的泛化能力，通常会导致过拟合。...因此，更常见的是微调一个在大数据集上已经训练好的模型，就像 ImageNet（120 万的标注图像），然后在我们的小数据集上继续训练（即运行反向传播）。...在 Keras 中微调 在这篇文章的第二部分，我将详细介绍如何在 Keras 中对流行模型 VGG，Inception V3 和 ResNet 进行微调。
当我们刚开始学习数据科学时，这种方法尤为有用。 尝试从无到有地实现一个神经网络，你将会明白很多有趣的事情。但是当需要为现实世界的数据集构建深度学习模型时，这还是一个不错的主意吗？...这意味着当我们训练深度学习模型时，这些层次是按顺序实现的。...我是PyTorch的拥护者，在我所研究过的框架中，PyTorch最富灵活性。 PyTorch是Torch深度学习框架的一个接口，可用于建立深度神经网络和执行张量计算。...与特定功能的预定义的图表不同，PyTorch提供了一个框架，用于在运行时构建计算图形，甚至在运行时也可以对这些图形进行更改。当不知道创建神经网络需要多少内存的情况下，这个功能便很有价值。...一旦对这个框架有了一个很好的理解，实现一个深度学习模型对你来说将是易如反掌。 Keras Keras是一个非常坚实的框架，可以开启深度学习之旅。
为了训练您自己的自定义神经网络，Keras需要一个backend。 backend是一个计算引擎——它构建网络图/拓扑，运行优化器并执行实际的数字运算。...同时，Google发布了TensorFlow，这是一个用于机器学习和训练神经网络的符号数学库。...根据定义，一旦TensorFlow成为Keras的默认backend，TensorFlow和Keras的使用量就会一起增长——如果没有TensorFlow，就无法拥有Keras，并且如果在系统上安装了Keras...TensorFlow v1.10.0中引入了tf.keras子模块，这是将Keras直接集成在TensorFlow包本身中的第一步。...我应该单独使用Keras还是应该使用tf.keras？ TensorFlow 2.0不仅仅是一个计算引擎和一个用于训练神经网络的深度学习库，它还具有更多功能。
反向传播时每个权重如何调整涉及到反向链式求导，这个我目前没有好好了解先不描述。 5....TFServing部署位置错误问题 问题一: GDCM找不到问题 产生原因： 开始时，我先对数据进行预处理，但有一部分图片是压缩的dcm图片，需要用gdcm库去处理，pip下载了第三方库，却显示找不到。...但是由于列表存的内容过多导致内存溢出。 解决办法： 在保存时，以每张图片单独保存成一个npy文件。这样列表就一直只保存一个图片大小的信息。...问题六: 模型二次运行失败问题 出现原因: 在Spyder中使用代码训练时，有一次修改批次大小于是手动停止了运行，当再次运行时，提醒显存不足，我查看后发现，程序停止后显存并没有释放。...如果加载模型后需要预测，需重新编译模型，将优化器加到模型中。 问题十：TFServing部署位置错误问题 出现原因： 服务器部署模型时，一直显示找不到模型。
我会介绍梯度消失和爆炸问题；对于后者，我将按照 Nielsen 提出的那个很赞的示例来解释梯度爆炸的原因。 最后，我还会提供一些代码让你可以自己在 Jupyter Notebook 中运行。 ?...这时我们就遇到了梯度消失问题，其中许多权重和偏置只能收到非常小的更新。 ? 可以看到，如果权重的值为 0.2，则当出现梯度消失问题时，这个值基本不会变化。...很明显，这是有问题的：梯度很小，如同消失了一样，使得神经网络中的权重几乎没有更新。这会导致网络中的节点离其最优值相去甚远。这个问题会严重妨碍神经网络的学习。...死亡 ReLU：优势和缺点 当我们将 ReLU 函数引入神经网络时，我们也引入了很大的稀疏性。那么稀疏性这个术语究竟是什么意思？ 稀疏：数量少，通常分散在很大的区域。...在神经网络中，这意味着激活的矩阵含有许多 0。这种稀疏性能让我们得到什么？当某个比例（比如 50%）的激活饱和时，我们就称这个神经网络是稀疏的。
这可以让我们在同一个系统上运行不同版本的Python和Keras。...嗯，让YOLO运行在Core ML确实需要点时间。但是，一旦完成了模型转换，预测就很容易了。 对于YOLO，只做预测是不够的。...（您可以使用Keras 2.0，因为我已经为Core ML制作了一个1.2.2模型，就使用它吧。） 在之前的YOLO帖子中，我们创建了一个转换脚本，将批量归一化参数“折叠”成卷积层的权重。...如果神经网络有点复杂，那么你最终可能会需要写几个不同的数据源类型。 在我第一次使用图形API实现YOLO之后，我尝试运行应用程序，所有的边框看起来都是正确的 - 除了它们向下移动和向右移动32像素。...结论 我希望这篇博文可以让您深入了解使用Core ML和Metal的图形API之间的区别。 至于速度差异，这不是重要的。这两个应用程序性能都差不多。然而，在beta 1中，Core ML版本非常慢。
当我们训练模型时，我们的模型甚至会试图学到训练数据中的噪声，最终导致在测试集上表现很差。 换句话说就是在模型学习过程中，虽然模型的复杂性增加、训练错误减少，但测试错误却一点也没有减少。...这同时也意味着会改善了模型在未知的数据上的表现。 二． 正则化如何帮助减少过拟合？ 让我们来分析一个在训练中过拟合的神经网络模型，如下图所示。 ?...因此，当我们试图压缩我们的模型时，它非常有用。其他的情况下，我们通常更喜欢L2。 在keras，我们可以对每一层进行正则化。 以下是将L2正则化应用于全连接层的示例代码。 ?...以下是实现它的示例代码。 ? 4. 早停（Early stopping） 早停是基于交叉验证策略--将一部分训练集作为验证集。一旦发现验证集的性能越来越差时，我们就立即停止对该模型的训练。...你可以看到，模型训练仅在5次迭代后就停止了--由于验证集准确率不再提高。如果设置更大的epoch运行，它也许不会有较好的结果。你可以说这是一种优化epoch数量的技术。
在如何教计算机实现上述过程的问题上，如果你运用了 C++ 或 Python，可能会找不到好的解决方案。但是别沮丧，因为这个问题已经困扰计算机科学家长达50年了！...让我们看一下 Stanford 课程上计算机视觉关于卷积神经网络扩展是怎么说的： 在 CIFAR10 中，图像的大小仅仅为 32*32*3（32位、32位高、3个颜色通道），因此一个全连接神经在一个规则神经网络的第一隐藏层中的权重应该是...通常当我们说“神经网络”的时候，我们真正想表达的其实是 ANN。ANN 不能像生物个体功能那样准确，所以，不要错误的理解 ANN 是一种模拟人脑。这是不对的。...就像你脑中的神经元会形成强连接或弱连接，在人工神经网络中权重决定着神经元间的连接强度。每个神经元仅了解世界的一小部分。当把它们集合到一起的时候，串在一起的神经元会拥有了一个更为综合而又全面的世界观。...景观的坐标代表不同的权重配置（像地图上的坐标），而景观的高度代表不同权重配置的总错误或总成本。 ? 优化器提供了一个重要的功能。它能计算出调整权重的方法以使错误降到最低概率。
当我们训练模型时，我们的模型甚至会试图学到训练数据中的噪声，最终导致在测试集上表现很差。 换句话说就是在模型学习过程中，虽然模型的复杂性增加、训练错误减少，但测试错误却一点也没有减少。...这同时也意味着会改善了模型在未知的数据上的表现。 二． 正则化如何帮助减少过拟合？ 让我们来分析一个在训练中过拟合的神经网络模型，如下图所示。...因此，当我们试图压缩我们的模型时，它非常有用。其他的情况下，我们通常更喜欢L2。 在keras，我们可以对每一层进行正则化。 以下是将L2正则化应用于全连接层的示例代码。...以下是实现它的示例代码。 4. 早停（Early stopping） 早停是基于交叉验证策略--将一部分训练集作为验证集。一旦发现验证集的性能越来越差时，我们就立即停止对该模型的训练。...你可以看到，模型训练仅在5次迭代后就停止了--由于验证集准确率不再提高。如果设置更大的epoch运行，它也许不会有较好的结果。你可以说这是一种优化epoch数量的技术。
本文中，我将解读如何权衡创建神经网络的两种样式： 第一种是符号式（symbolic），即你通过操作层次图来创建模型； 第二种是一种命令式（imperative），即你通过扩展类来创建模型。...当我们想到一个神经网络时，我们通常会将心智模型（mental model）用如下图所示的「层次图」来表示： ?...当我们想到一个神经网络时，我们通常会将心智模型（mental model）用「层次图」来表示（图像是 Inception-ResNet 的图式） 该图可以是有向无环图（DAG），如左边所示；也可以是堆栈图...该图展示了通过上述代码创建的模型（使用plot_model创建，你在本文的下一个示例中可以重用该代码片段） TensorFlow 2.0 还提供了另一个符号式 API ：Keras Functional...同样地，在将层拼接在一起时，开发库的设计者可以运行扩展的层兼容性检查（在创建模型时和执行模型之前）。 这类似于在编译器中进行类型检查，可以极大地减少开发者的错误。
正如我在介绍中提到的，一些导入加几行代码就足以创建并且训练一个能够对我们的测试集中的样本进行几乎100%分类的模型了。...图5，单个层 一个更重要的评价：当我们为一个单个单元编写方程时，我们使用x和y^,它们分别是特征值的列向量和预测值，当我们切换到图层的一般表示法时，我们使用向量a - 该向量可以激活相应的层。...对于那些不太擅长这种计算的人，我就简单的说，导数具有很好的描述函数斜率的能力。由于我们知道如何改变变量使其在图表中向下移动。...图9显示了神经网络中的操作顺序。我们清楚地看到前向和后向传播如何一起工作以优化损失函数。 ? ? 图9.前向和后向传播 结论 希望我已经解释了在神经网络中发生的数学。...在使用神经网络时，至少基本了解这个过程是非常有用的。我认为我提到的这些事情是最重要的，但它们仅仅是冰山一角。我强烈建议你尝试自己编写这样一个小的神经网络，不使用高级框架，只使用Numpy。
在第2至第19行，我们导入了该脚本所需要的包和模块。第三行指定了一个matplotlib后端，基于此我们可以在后台保存我们所绘制的图片。...我们的数据增强器对象在第85至第87中被初始化。当你的没类数据少于1000张图像时，数据增强是一个最好的实践也或许是一个“必须”的实践。 接下来，让我们建立模型并初始化Adam优化器： ?...在迭代过程中我喜欢讲图片存至硬盘上出于几个原因： 我在一个无界面的后台服务器上运行代码，也并不想依赖于X-forwarding 我不想忘记保存图片（即使我正在使用X-forwarding或是我正使用一个拥有图形化界面的机器...当我们的神经网络已经学会如何预测“黑色牛仔裤”、“蓝色牛仔裤”、“蓝色裙子”和“红色裙子”时，它是否也能够被用来分类一条“黑色裙子”？ ? ? 图片10：在这里发生了什么？我们的多类标签出错了。...再次重申，你的神经网络不能预测出它之前未曾训练过的数据（而且你也不该期望它能够预测出）。当你在训练你自己的多标签分类Keras神经网络时，请牢记这一点。 我希望你喜欢这篇博文！
最有名的要属Krizhevsky在2012年ImageNet的分类测试中破纪录的表现，他的卷积神经网络模型AlexNet的错误率只有16.4%，而第二名的错误率是26.1%。...实际上，当训练卷积神经网络时，我们并不会人工设置过滤器权重。这些值都是网络自动习得的。你还记得在经典全连接网络中权重是如何通过反向传播算法习得的么？是的，卷积神经网络也是同样的原理。...不是我们来给每层设置大型权重矩阵，而是卷积神经网络习得过滤器权重。换言之，当我们从随机值来调整权重来降低分类错误时，网络会找出正确的过滤器，适用于寻找我们感兴趣的物体的特征。...我们会使用Tensorflow深度学习框架和Keras Keras是高等级的神经网络应用程序编程接口（KPI），用Python编写，能够在TensorFlow、 CNTK和Theano上运行。...我们设计了一个特定卷积神经网络，在验证数据上表现不错，准确率达89%。 然而有一个办法可以得到更好的分数。在一个包含猫狗照片的大型数据集上，下载预训练卷积神经网络的权重。
具有图层的神经网络 资料来源：走向数据科学 当我们量化权重时，我们采用权重的最小值和权重的最大值并映射它们。有许多方法可以映射它们，但最常用的方法是线性和查找。线性量化是指均匀映射权重并减少它们。...image 当我们以16位格式表示Inceptionv3模型时，它占用的空间更少！ 但是，重要的是要记住权重量化的真正含义。早些时候，在我的比喻中，我说更多的权重会产生更多的准确性。...当我们量化模型时，我们也会降低模型的精度和尺寸。量化是一种准确性权衡。量化模型是权重大小的近似值，因此运行量化模型并了解它们的运行方式始终非常重要。...但是，当您尝试将神经网络从Tensorflow转换为Core ML时，可能会出现一些情况。或者也许是从Keras到Core ML的管道。...在过去，你无法做任何事情但是在iOS 12中，Apple工程师已经引入了MLCustonLayer允许开发人员在Swift中创建自己的图层的协议。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
