CNN卷积算法应用---手写数字识别 第一次训练结果 2019-04-08 23:19:15.612675: I tensorflow/core/platform/cpu_feature_guard.cc:137] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX Step=0, Train loss 2.2813, [Test accuracy=0
GraphSAGE通过采样邻居的策略解决了GCN只能采用Full Patch训练的问题。在GAT中指出了GCN的另外两个缺点：
在诸如自然语言处理、推荐系统构建等深度学习研究的许多方面，词汇嵌入和高维数据无处不在。谷歌最近开源了 embedding project 项目，此项目是一个交互式、协作、可视化工具，可用于高维数据的可视化。该项目是在欧几里得空间中实现点到空间数据的映射。许多类型的大数据需要进行可视化，这些可视化包括图表、神经网络、记录关于权重的参数摘要，sigmoid 激活函数，以及机器学习模型的精度。
这是Keras搭建神经网络模型最基础的方法之一，Keras还有其他进阶的方法，官网给出了一些基本使用方法：Keras官网
性能评估模块提供了一系列用于模型性能评估的函数,这些函数在模型编译时由metrics关键字设置
笔者投入M1的怀抱已经有一段时间了，俗话说得好，但闻新人笑，不见旧人哭，Intel mac早已被束之高阁，而M1 mac已经不能用真香来形容了，简直就是“香透满堂金玉彩，扇遮半面桃花开！”，轻抚M1 mac那滑若柔荑的秒控键盘，别说996了，就是007，我们也能安之若素，也可以笑慰平生。好了，日常吹M1的环节结束，正所谓剑虽利,不厉不断，材虽美，不学不高。本次我们尝试在M1 Mac os 中搭建Python3的开发环境。
IMBD自互联网电影数据库（IMDB）的50 000条评论数据。 分为训练集25000和测试25000 测试集合训练集的好评和差评按照1:1分配
TensorFlow涉及到的运算，往往是在训练庞大的神经网络过程中出现的复杂且难以理解的运算，为了方便对程序进行理解、调试和优化，tensorflow提供了一个叫做tensorboard的可视化工具来对模型以及训练过程进行可视化描述。你可以使用它来展示模型结构，绘制出关键参数的变化过程图，观察训练过程并根据图形适当调整模型参数。 以下是一个使用tensorboard进行可视化的一个实例，该例构建了一个两层深度网络模型，并在训练的过程中对一些参数及准确度做了记录，并可以在tensorboard中以图表方式展现，图片见代码部分后面。
实现compute_distances_two_loops def compute_distances_two_loops(self, X): """ Compute the distance between each test point in X and each training point in self.X_train using a nested loop over both the training data and the test data. I
GCN的训练方式是基于全图的形式，然而对于许多实际的业务场景，图的规模是非常巨大的，单张显卡的容量难以满足一张整图训练所需要的空间，所以小批量的训练方法对于大规模图数据的训练是十分必要的。
Multi-layer Graph Convolutional Network (GCN) with first-order filters,来源:http://tkipf.github.io/graph-convolutional-networks/
假设隐含状态长度为h，数据Xt是一个样本数为n、特征向量维度为x的批量数据，其计算如下所示（W和b表示权重和偏置）：
模型的训练主要有内置fit方法、内置tran_on_batch方法、自定义训练循环。
原项目 | https://github.com/aymericdamien/TensorFlow-Examples/
本文展示了使用双向LSTM(Bi-LSTM)进行时间序列预测的全过程，包含详细的注释。整个过程主要包括：数据导入、数据清洗、结构转化、建立Bi-LSTM模型、训练模型（包括动态调整学习率和earlystopping的设置）、预测、结果展示、误差评估等完整的时间序列预测流程。 本文使用的数据集在本人上传的资源中，链接为mock_kaggle.csv
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/red_stone1/article/details/79310173
其中A，B，C都代表label，三个文件夹存在具体的图片。只要是这样类型的，直接套下面模板。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/red_stone1/article/details/79238866
数据来自路透社数据集，为kersa库自带的数据，包含不同的主题，每个主题最少有10个样本
Batch Normalization: 使用 tf.layers 高级函数来构建神经网络 参考文献 吴恩达 deeplearningai 课程[1] 课程笔记[2] Udacity 课程[3] 批量标准化在构建深度神经网络时最为有用。为了证明这一点，我们将创建一个具有20个卷积层的卷积神经网络，然后是一个完全连接的层。我们将使用它来对MNIST数据集中的手写数字进行分类，现在您应该熟悉这一点。这不是划分MNIST数字的最好网络。您可以创建更简单的网络并获得更好的结果。但是，为了给您批量标准化的实践经验，
Extracting MNIST_data/train-images-idx3-ubyte.gz Extracting MNIST_data/train-labels-idx1-ubyte.gz Extracting MNIST_data/t10k-images-idx3-ubyte.gz Extracting MNIST_data/t10k-labels-idx1-ubyte.gz Train Epoch: 01 Loss= 53.529132843 Accuracy= 0.8624 Train Epoch: 02 Loss= 33.633792877 Accuracy= 0.9002 Train Epoch: 03 Loss= 26.070878983 Accuracy= 0.9166 Train Epoch: 04 Loss= 21.878053665 Accuracy= 0.9256 Train Epoch: 05 Loss= 19.345390320 Accuracy= 0.9310 Train Epoch: 06 Loss= 18.134420395 Accuracy= 0.9348 Train Epoch: 07 Loss= 15.690796852 Accuracy= 0.9414 Train Epoch: 08 Loss= 15.634956360 Accuracy= 0.9372 Train Epoch: 09 Loss= 15.122309685 Accuracy= 0.9414 Train Epoch: 10 Loss= 14.535149574 Accuracy= 0.9426 Train Epoch: 11 Loss= 14.188427925 Accuracy= 0.9450 Train Epoch: 12 Loss= 14.709759712 Accuracy= 0.9426 Train Epoch: 13 Loss= 13.977644920 Accuracy= 0.9448 Train Epoch: 14 Loss= 13.594002724 Accuracy= 0.9466 Train Epoch: 15 Loss= 12.868132591 Accuracy= 0.9492 Train Epoch: 16 Loss= 12.838119507 Accuracy= 0.9506 Train Epoch: 17 Loss= 12.817976952 Accuracy= 0.9496 Train Epoch: 18 Loss= 12.890332222 Accuracy= 0.9506 Train Epoch: 19 Loss= 12.724534988 Accuracy= 0.9502 Train Epoch: 20 Loss= 13.171916008 Accuracy= 0.9494 Train Epoch: 21 Loss= 12.193360329 Accuracy= 0.9558 Train Epoch: 22 Loss= 11.771809578 Accuracy= 0.9516 Train Epoch: 23 Loss= 12.657453537 Accuracy= 0.9532 Train Epoch: 24 Loss= 12.012898445 Accuracy= 0.9552 Train Epoch: 25 Loss= 12.073326111 Accuracy= 0.9542 Train Epoch: 26 Loss= 12.455985069 Accuracy= 0.9556 Train Epoch: 27 Loss= 11.321227074 Accuracy= 0.9564 Train Epoch: 28 Loss= 12.093022346 Accuracy= 0.9568 Train Epoch: 29 Loss= 11.713661194 Accuracy= 0.9580 Train Epoch: 30 Loss= 11.451450348 Accuracy= 0.9588 Train Finished takes: 76.92 Starting another session for prediction
过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。
任务： 使用tensorflow训练一个神经网络作为分类器，分类的数据点如下： 螺旋形数据点 原理 数据点一共有三个类别，而且是螺旋形交织在一起，显然是线性不可分的，需要一个非线性的分类器。这里选择神
灰度转换公式：L = R * 299/1000 + G * 587/1000 + B * 114/1000
如果return_sequences=True，后两个输出维度如下：（增加了序列长度维度）
使用Transformer来提升模型的性能 最近几年，Transformer体系结构已成为自然语言处理任务的实际标准， 但其在计算机视觉中的应用还受到限制。在视觉上，注意力要么与卷积网络结合使用， 要么用于替换卷积网络的某些组件，同时将其整体结构保持在适当的位置。2020年10月22日，谷歌人工智能研究院发表一篇题为“An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”的文章。文章将图像切割成一个个图像块,组成序列化的数据输入Transformer执行图像分类任务。当对大量数据进行预训练并将其传输到多个中型或小型图像识别数据集（如ImageNet、CIFAR-100、VTAB等）时，与目前的卷积网络相比，Vision Transformer（ViT）获得了出色的结果，同时所需的计算资源也大大减少。 这里我们以ViT我模型，实现对数据CiFar10的分类工作，模型性能得到进一步的提升。
作者：Nicholas Indorf翻译：Gabriel Ng校对：zrx 本文约10000字，建议阅读13分钟项目中收集并使用了 Spotify 数据库中最近发布的hip-hop曲目的音频预览样本和相关的流行度分数。 摘要 在这个项目里面，我想构建一个工具来帮助我的表弟，一位名叫“KC Makes Music”的Hip-Hop艺术家。这个工具将会评估他尚未发布的歌曲是否有在Spotify上流行的潜力。 项目中只收集并使用了 Spotify 数据库中最近发布的hip-hop曲目的音频预览样本和相关的流行度分
tf.strings是很早就加入到tensorflow的内容，不过一直都很边缘，而且支持也不好，直到2.1/2.2版本才开始有越来越好的支持。
编写辅助函数，计算步骤1-3 将它们合并到 nn_model（）的函数中 学习正确的参数，对新数据进行预测
Pytorch没有官方的高阶API。一般通过nn.Module来构建模型并编写自定义训练循环。
我们在编程中经常需要对两个浮点型比较大小，下面我就来分享一段这样的代码，同时也展示了Go语言函数式编程的独特魅力：
TF-RecurrentNeuralNetwork import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np #读取数据 mnist = input_data.read_data_sets("data/MNIST_data/", one_hot = True) #设置常量 n_inputs = 28 max_size = 28 lstm_size = 100
MNIST是Mixed National Institue of Standards and Technology database的简称，中文叫做美国国家标准与技术研究所数据库。
TensorFlow提供了众多的API，简单地可以分类为高阶API和低阶API. API太多太乱也是TensorFlow被诟病的重点之一，可能因为Google的工程师太多了，社区太活跃了~当然后来Google也意识到这个问题，在TensorFlow 2.0中有了很大的改善。本文就简要介绍一下TensorFlow的高阶API和低阶API使用，提供推荐的使用方式。
本文是对tensforflow官方入门教程的学习和翻译，展示了创建一个基础的卷积神经网络模型来解决图像分类问题的过程。具体步骤如下
这里用到 group_by()和 summarise()函数。一个简单的小例子理解这两个函数的用法
TensorFlow 2.0 在 1.x版本上进行了大量改进，主要变化如下： 以Eager模式为默认的运行模式，不必构建Session 删除tf.contrib库，将其中的高阶API整合到tf.kea
我们在实践中通常会遇到的数据类型包括结构化数据，图片数据，文本数据，时间序列数据。
强烈安利 Google的Colab，即使你没有一台很好的电脑，也能在这个平台上学习TensorFlow
tensorflow是谷歌google的深度学习框架，tensor中文叫做张量，flow叫做流。 CNN是convolutional neural network的简称，中文叫做卷积神经网络。 MNIST是Mixed National Institue of Standards and Technology database的简称，中文叫做美国国家标准与技术研究所数据库。 此文在上一篇文章《基于tensorflow+DNN的MNIST数据集手写数字分类预测》的基础上修改模型为卷积神经网络模型，模型准确率从98%提升到99.2% 《基于tensorflow+DNN的MNIST数据集手写数字分类预测》文章链接：https://www.jianshu.com/p/9a4ae5655ca6
这篇文章介绍如何使用Michael Nielsen 用python写的卷积神经网络代码，以及比较卷积神经网络和普通神经网络预测的效果。
如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。
练习地址：https://www.kaggle.com/c/ds100fa19 相关博文： [Kaggle] Spam/Ham Email Classification 垃圾邮件分类（RNN/GRU/LSTM） [Kaggle] Spam/Ham Email Classification 垃圾邮件分类（BERT）
双y轴曲线图例合并是一个棘手的操作，现以MNIST案例中loss/accuracy绘制曲线。
本文主要学习获取 CIFAR-10 数据集，通过简单的模型对数据集进行训练和识别。
Batch Normalization: 使用 tf.layers 高级函数来构建带有 Batch Normalization 的神经网络 参考文献吴恩达 deeplearningai 课程[1]课程笔记[2]Udacity 课程[3] 在使用 tf.layers 高级函数来构建神经网络[4]中我们使用了 tf.layers 包构建了一个不包含有 Batch Normalization 结构的卷积神经网络模型作为本节模型的对比 本节中将使用 tf.layers 包实现包含有 Batch Normaliza
CV领域中，在完成数据准备工作和设计定义好模型之后，我们就可以去迭代训练模型了，通过设置调节不同的超参数（这需要理论知识和丰富的经验）来使得损失（loss）和准确率（accuracy）这两个常用的指标达到最优。一般在训练完成之后，都需要通过损失曲线图和准确率曲线图来衡量整个训练过程。
Python深度学习-深入理解Keras：Keras标准工作流程、回调函数使用、自定义训练循环和评估循环。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/red_stone1/article/details/79267463
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
