目前，越来越多的互联网公司内部都有自己的一套框架去训练模型，而模型训练时需要的数据则都保存在分布式文件系统（HDFS）上。Hive作为构建在HDFS上的一个数据仓库，它本质上可以看作是一个翻译器，可以将HiveSQL语句翻译成MapReduce程序或Spark程序，因此模型需要的数据例如csv/libsvm文件都会保存成Hive表并存放在HDFS上，那么问题就来了，如何大规模地把HDFS中的数据直接喂到Tensorflow中呢？
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
Data API还可以从现成的文件（比如CSV文件）、固定大小的二进制文件、使用TensorFlow的TFRecord格式的文件（支持大小可变的记录）读取数据。TFRecord是一个灵活高效的二进制格式，基于Protocol Buffers（一个开源二进制格式）。Data API还支持从SQL数据库读取数据。另外，许多开源插件也可以用来从各种数据源读取数据，包括谷歌的BigQuery。
卷积神经网络（CNN）非常适合计算机视觉任务。使用对大型图像集（如ImageNet，COCO等）进行训练的预训练模型，可以快速使这些体系结构专业化，以适合独特数据集。此过程称为迁移学习。但是有一个陷阱！用于图像分类和对象检测任务的预训练模型通常在固定的输入图像尺寸上训练。这些通常从224x224x3到某个范围变化，512x512x3并且大多数具有1的长宽比，即图像的宽度和高度相等。如果它们不相等，则将图像调整为相等的高度和宽度。
大家好！ 在本教程中，我们将使用 TensorFlow 的命令模式构建一个简单的前馈神经网络。 希望你会发现它很有用！ 如果你对如何改进代码有任何建议，请告诉我。
关于深度学习，每个人都有自己的看法。有人说就是炼丹，得个准确率召回率什么的，拿到实际中，问问为什么，都答不上来。各种连代码都没写过的人，也纷纷表示这东西就是小孩堆积木，然后整个大功耗的服务器跑上几天，调调参数。然后每个实验室招生，都说自己是做什么深度学习，机器 学习，大数据分析的，以此来吸引学生。可是可是，他们实验室很可能连一块 GPU 都没有。 对于像我这样的渣渣来说，深度学习的乐趣不在于推导那么几个公式，而在于你在做情感分析的时候，RMSE小了，准确率高了；你在做机器翻译的时候，英文句子准确地变成了地地
对于R语言用户来说，深度学习还没有生产级的解决方案(除了MXNET)。这篇文章介绍了R语言的Keras接口，以及如何使用它来执行图像分类。文章结尾会通过提供一些代码片段显示Keras的直观和强大 Tensorflow 去年1月，R语言中的Tensorflow 发布了，它提供了从R语言中获得的Tensorflow API的方法。这是很重要的，因为Tensorflow是最受欢迎的深度学习库。然而，对于大多数R语言用户来说，R语言的Tensorflow接口和R语言并不是很像。下面是训练模型的代码块。 cross_
关于深度学习，每个人都有自己的看法。有人说就是炼丹，得个准确率召回率什么的，拿到实际中，问问为什么，都答不上来。各种连代码都没写过的人，也纷纷表示这东西就是小孩堆积木，然后整个大功耗的服务器跑上几天，调调参数。然后每个实验室招生，都说自己是做什么深度学习，机器 学习，大数据分析的，以此来吸引学生。可是可是，他们实验室很可能连一块 GPU 都没有。 小时候，我把两个5号电池连在一块，然后用导线把正负极连起来，在正极的地方接个小灯泡，然后灯泡就亮了，这时候我就会高兴的不行。家里的电风扇坏了，把风扇拆开后发现里边
本文属于介绍性文章，其中会介绍许多TensorFlow的新feature和summit上介绍的一些有意思的案例，文章比较长，可能会花费30分钟到一个小时
在本节中，我们将首先看到 TensorFlow 在监督机器学习中的许多应用，包括线性回归，逻辑回归和聚类。 然后，我们将研究无监督学习，特别是应用于数据压缩和去噪的自编码。
tensorflow是谷歌google的深度学习框架，tensor中文叫做张量，flow叫做流。 CNN是convolutional neural network的简称，中文叫做卷积神经网络。 MNIST是Mixed National Institue of Standards and Technology database的简称，中文叫做美国国家标准与技术研究所数据库。 此文在上一篇文章《基于tensorflow+DNN的MNIST数据集手写数字分类预测》的基础上修改模型为卷积神经网络模型，模型准确率从98%提升到99.2% 《基于tensorflow+DNN的MNIST数据集手写数字分类预测》文章链接：https://www.jianshu.com/p/9a4ae5655ca6
机器之心报道 参与：机器之心编辑部 当时时间 3 月 30 日，谷歌 TenosrFlow 开发者峰会 2018 在美国加州石景山开幕，来自全球的机器学习用户围绕 TensorFlow 展开技术演讲与演示。去年的 TensorFlow 开发者大会上，该框架正式升级到了 1.0 版本，逐渐成为最流行的深度学习框架。今年，TensorFlow 发布了面向 JavaScript 开发者的全新机器学习框架 TensorFlow.js。 在大会上午的 Keynote 中，谷歌大脑负责人 Jeff Dean、Tenso
在入门之前，我们需要开发工具，本文使用 JupyterLab，可以用 conda 或者 pip 方式安装。
深度学习框架中涉及很多参数，如果一些基本的参数如果不了解，那么你去看任何一个深度学习框架是都会觉得很困难，下面介绍几个新手常问的几个参数。 batch 深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。 另一种，每看一个数据就算一下损失函数，然后求梯度更新
之前我是在CPU上跑Tensorflow，计算速度着实让人捉急。最近更新了显卡驱动，安装了CUDA和 GPU版的TensorFlow，同样的神经网络结构，学习速度有了百倍提升。
【导读】专知小组计划近期推出Tensorflow实战系列，计划教大家手把手实战各项子任务。本教程旨在手把手教大家使用Tensorflow构建卷积神经网络（CNN）进行图像分类。教程并没有使用MNIST数据集，而是使用了真实的图片文件，并且教程代码包含了模型的保存、加载等功能，因此希望在日常项目中使用Tensorflow的朋友可以参考这篇教程。完整代码可在专知成员Hujun的Github中下载。 https://github.com/hujunxianligong/Tensorflow-CNN-Tutoria
这是腾讯云加社区共创官的选题互换挑战赛，一搭眼看到了这个题目，因为之前写过 自己制作数据集并训练，这无非是换个数据源进行训练而已，于是果断选择了这个题目
在使用tensorflow与keras混用是model.save 是正常的但是在load_model的时候报错了在这里mark 一下
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。今天主要是利用tflite来跑一下这个量化算法，量化一个最简单的LeNet-5模型来说明一下量化的有效性。tflite全称为TensorFlow Lite，是一种用于设备端推断的开源深度学习框架。中文官方地址我放附录了，我们理解为这个框架可以把我们用tensorflow训练出来的模型转换到移动端进行部署即可，在这个转换过程中就可以自动调用算法执行模型剪枝，模型量化了。由于我并不熟悉将tflite模型放到Android端进行测试的过程，所以我将tflite模型直接在PC上进行了测试（包括精度，速度，模型大小）。
TensorFlow 是解决机器学习和深度学习问题的流行库之一。在开发供 Google 内部使用后，它作为开源发布供公众使用和开发。让我们理解 TensorFlow 的三个模型：数据模型，编程模型和执行模型。
｜---------01.jpg
TensorFlow 是 Google 创建的开源软件库，可让您构建和执行数据流图以进行数值计算。 在这些图中，每个节点表示要执行的某些计算或功能，连接节点的图边表示它们之间流动的数据。 在 TensorFlow 中，数据是称为张量的多维数组。 张量围绕图流动，因此命名为 TensorFlow。
原文链接 / http://ai.googleblog.com/2020/11/announcing-objectron-dataset.html
很荣幸您能看到这篇文章，相信通过标题打开这篇文章的都是对tensorflow感兴趣的，特别是对卷积神经网络在mnist手写识别这个实例感兴趣。不管你是什么基础，我相信，你在看完这篇文章后，都能够完全理解这个实例。这对于神经网络入门的小白来说，简直是再好不过了。
Torch 是纽约大学的一个机器学习开源框架，几年前在学术界非常流行，包括 Lecun等大佬都在使用。但是由于使用的是一种绝大部分人绝对没有听过的 Lua 语言，导致很多人都被吓退。后来随着 Python 的生态越来越完善，Facebook 人工智能研究院推出了Pytorch并开源。Pytorch不是简单的封装 Torch并提供Python接口，而是对Tensor以上的所有代码进行了重构，同TensorFlow一样，增加了自动求导。
训练大概50epoch,这里仅仅展示20个，可以看到，验证准确率是在不断的上升的，后面的数据就不展示了，我也没训练完，有兴趣的可以接着跑将模型保存一下，有时间再接着训练
Convolutional Neural Networks翻译为卷积神经网络，常用在图像识别和语音分析等领域。CNN详细介绍参看：
TensorFlow是一个基于Python和基于数据流编程的机器学习框架，由谷歌基于DistBelief进行研发，并在图形分类、音频处理、推荐系统和自然语言处理等场景下有着丰富的应用。2015年11月9日，TensorFlow依据Apache 2.0 开源协议开放源代码。
ImageDataGenerator位于keras.preprocessing.image模块当中,可用于做数据增强,或者仅仅用于一个批次一个批次的读进图片数据.一开始以为ImageDataGenerator是用来做数据增强的,但我的目的只是想一个batch一个batch的读进图片而已,所以一开始没用它,后来发现它是有这个功能的,而且使用起来很方便.
在Tensorflow中，无论是占位符还是变量，它们实际上都是Tensor，从Tensorflow的名字中，就可以看出Tensor在整个系统中处于核心地位。Tensorflow中的Tensor并不是具体的数值，只是一些我们希望Tensorflow系统计算的节点。
深度学习模型在图像识别领域的应用越来越广泛。通过对图像数据进行学习和训练，这些模型可以自动识别和分类图像，帮助我们解决各种实际问题。其中，CIFAR-10数据集是一个广泛使用的基准数据集，包含了10个不同类别的彩色图像。本文将介绍如何使用深度学习模型构建一个图像识别系统，并以CIFAR-10数据集为例进行实践和分析。文章中会详细解释代码的每一步，并展示模型在测试集上的准确率。此外，还将通过一张图片的识别示例展示模型的实际效果。通过阅读本文，您将了解深度学习模型在图像识别中的应用原理和实践方法，为您在相关领域的研究和应用提供有价值的参考。
该教程第一天先介绍了深度学习和机器学习的潜力与基本概念，而后便开始探讨深度学习框架 TensorFlow。首先我们将学到如何安装 TensorFlow，其实我们感觉 TensorFlow 环境配置还是相当便捷的，基本上按照官网的教程就能完成安装。随后就从「Hello TensorFlow」开始依次讲解计算图、占位符、张量等基本概念。
本文实例为大家分享了Tensorflow之MNIST CNN实现并保存、加载模型的具体代码，供大家参考，具体内容如下
在本教程中，我们将使用 TensorFlow (Keras API) 实现一个用于二进制分类任务的深度学习模型，该任务包括将细胞的图像标记为感染或未感染疟疾。
机器之心整理 参与：蒋思源 这是一套香港科技大学发布的极简 TensorFlow 入门教程，三天全套幻灯片教程已被分享到 Google Drive。机器之心将简要介绍该教程并借此梳理 TensorFlow 的入门概念与实现。 该教程第一天先介绍了深度学习和机器学习的潜力与基本概念，而后便开始探讨深度学习框架 TensorFlow。首先我们将学到如何安装 TensorFlow，其实我们感觉 TensorFlow 环境配置还是相当便捷的，基本上按照官网的教程就能完成安装。随后就从「Hello TensorFlo
下面通过手写数字数据集来介绍如何使用tensorboard可视化 可以两种方法，一种是再notebook里，还有一种是网页打开。 jupyter notebook 调试
虽然这里是采用 TF-Slim 处理图像分类问题，还需要安装 TF-Slim 图像模型库 tensorflow/models/research/slim. 假设该库的安装路径为 TF_MODELS. 添加 TF_MODELS/research/slim 到 python path.
前文我们用keras的Sequential 模型实现mnist手写数字识别，准确率0.9713。今天我们完成day40-42的课程，实现猫、狗的识别。
tf.test.is_gpu_available() # 判断gpu可用与否 ``` 2. 从镜像配置 ```shell # 云端的系统镜像直接有开发环境 # 升级tensorflow 版本 pip install --upgrade tensorflow-gpu==2.0.0 pip3 install --upgrade tensorflow-gpu==2.0.0 ```
这就是所谓的「机器学习」，让机器自己去“学习”。我们今天要做的这个分类任务，是一个“监督学习”的过程。
【AI100 导读】如何才能创建出自己的卷积神经网络呢？在本篇文章中我们会一起来探讨一下这个问题。我们将会继续处理在该系列第一部分谈到的图像分割问题。 可用来创建卷积神经网络的深度学习库有很多。我们
Python API Guides (仅记录日常用到的api) TensorFlow API 树 (Python) Tensor转换： Ref 生成tensor tf.string_to_number tf.to_double tf.to_float tf.to_bfloat16 tf.to_int32 tf.to_int64 tf.cast tensor形状op tf.shape tf.size tf.rank tf.reshape tf.squeeze tf.expand_di
TensorFlow 模型还可用于在移动和嵌入式平台上运行的应用。 TensorFlow Lite 和 TensorFlow Mobile 是资源受限移动设备的两种 TensorFlow。与 TensorFlow Mobile 相比，TensorFlow Lite 支持功能的子集。由于较小的二进制大小和较少的依赖项，TensorFlow Lite 可以获得更好的表现。
kaggle网站手写数字分类的比赛链接：https://www.kaggle.com/c/digit-recognizer 注册账号后才能参加kaggle比赛，本文作者成绩前2%，如下图所示：
从这个例子开始，相当比例的代码都来自于官方新版文档的示例。开始的几个还好，但随后的程序都将需要大量的算力支持。Google Colab是一个非常棒的云端实验室，提供含有TPU/GPU支持的Python执行环境(需要在Edit→Notebook Settings设置中打开)。速度比不上配置优良的本地电脑，但至少超过平均的开发环境。 所以如果你的电脑运行速度不理想，建议你尝试去官方文档中，使用相应代码的对应链接进入Colab执行试一试。 Colab还允许新建Python笔记，来尝试自己的实验代码。当然这一切的前提，是需要你科学上网。
cifar2数据集为cifar10数据集的子集，只包括前两种类别airplane和automobile。
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。昨天已经使用tflite测试了训练后量化，所以今天主要来看一下训练时量化时怎么做的。注意训练中的量化实际上是伪量化，伪量化是完全量化的第一步，它只是模拟了量化的过程，并没有实现量化，只是在训练过程中添加了伪量化节点，计算过程还是用float32计算。然后训练得出.pb文件，放到指令TFLiteConverter里去实现第二步完整的量化，最后生成tflite模型，实现int8计算。
在深度学习领域，卷积神经网络（Convolutional Neural Network，CNN）在图像分类问题中取得了显著的成功。本文将使用TensorFlow或Keras编写一个简单的CNN模型来解决图像分类问题。
机器学习(ML)的最新技术已经在许多计算机视觉任务上取得了SOTA的结果，但仅仅是通过在2D照片上训练模型而已。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
