用TensorFlow框架搭建神经网络已经是大众所知的事情。今天我们来聊一聊如何用TensorFlow 对数据进行特征工程处理。
特征列通常用于对结构化数据实施特征工程时候使用，图像或者文本数据一般不会用到特征列。使用特征列可以将类别特征转换为one-hot编码特征，将连续特征构建分桶特征，以及对多个特征生成交叉特征等等。
TensorFlow是Google推出的深度学习框架，也是使用最广泛的深度学习框架。目前最新的TensorFlow版本是2.1。可能有很多同学想跃跃欲试安装TensorFlow2，不过安装完才发现，TensorFlow2与TensorFlow1的差别非常大，基本上是不兼容的。也就是说，基于TensorFlow1的代码不能直接在TensorFlow2上运行，当然，一种方法是将基于TensorFlow1的代码转换为基于TensorFlow2的代码，尽管Google提供了转换工具，但并不保证能100%转换成功，可能会有一些瑕疵，而且转换完仍然需要进行测试，才能保证原来的代码在TensorFlow2上正确运行，不仅麻烦，而且非常费时费力。所以大多数同学会采用第二种方式：在机器上同时安装TensorFlow1和TensorFlow2。这样以来，运行以前的代码，就切换回TensorFlow1，想尝鲜TensorFlow2，再切换到TensorFlow2。那么具体如何做才能达到我们的目的呢？本文将详细讲解如何通过命令行的方式和PyCharm中安装多个Python环境来运行各个版本TensorFlow程序的方法。
这一节我们总结FM另外两个远亲NFM，AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息，总共向量乘积就这几种，这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的等权求和变成了加权求和。
通常认为评估器因为内置的紧密结合，运行速度要高于Keras。Keras一直是一个通用的高层框架，除了支持TensorFlow作为后端，还同时支持Theano和CNTK。高度的抽象肯定会影响Keras的速度，不过本人并未实际对比测试。我觉的，对于大量数据导致的长时间训练来说，这点效率上的差异不应当成为大问题，否则Python这种解释型的语言就不会成为优选的机器学习基础平台了。 在TensorFlow 1.x中可以使用tf.estimator.model_to_estimator方法将Keras模型转换为TensorFlow评估器。TensorFlow 2.0中，统一到了tf.keras.estimator.model_to_estimator方法。所以如果偏爱评估器的话，使用Keras也不会成为障碍。
这一节我们总结FM三兄弟FNN/PNN/DeepFM，由远及近，从最初把FM得到的隐向量和权重作为神经网络输入的FNN，到把向量内/外积从预训练直接迁移到神经网络中的PNN，再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM，我们终于来到了2017年。。。
特征工程是生成精确模型的最重要步骤之一。但是没有人喜欢它，因为这个步骤非常繁琐，我坚信任何繁琐的事情都可以自动化。虽然我的解决方案并没有完全消除对手工工作的需要，但它确实大大减少了手工工作，并产生了更好的结果。它还生成了一个在结构化数据集上始终优于梯度增强方法的模型。
自动特征交叉模型包括：FM系列（FM、FFM、AFM）、Embedding+MLP（FNN、PNN、NFM、ONN）、双路并行（Wide&Deep、DeepFM、DCN、xDeepFM、AutoINT）
自 Transformers 出现以来，基于它的结构已经颠覆了自然语言处理和计算机视觉，带来各种非结构化数据业务场景和任务的巨大效果突破，接着大家把目光转向了结构化业务数据，它是否能在结构化表格数据上同样有惊人的效果表现呢？
xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。
这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘，Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息，要么是让Wide更好的记忆样本信息
代码路径：https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_logistic_regression
学习资料： https://www.tensorflow.org/get_started/input_fn 对应的中文翻译： http://studyai.site/2017/03/06/%E3%80%90Tensorflow%20r1.0%20%E6%96%87%E6%A1%A3%E7%BF%BB%E8%AF%91%E3%80%91%E9%80%9A%E8%BF%87tf.contrib.learn%E6%9D%A5%E6%9E%84%E5%BB%BA%E8%BE%93%E5%85%A5%E5%87%
tf.contrib.learn Quickstart TensorFlow的机器学习高级API(tf.contrib.learn)使配置、训练、评估不同的学习模型变得更加容易。在这个教程里，你将使用tf.contrib.learn在Iris data set上构建一个神经网络分类器。代码有一下5个步骤： 在TensorFlow数据集上加载Iris 构建神经网络 用训练数据拟合 评估模型的准确性 在新样本上分类 Complete Neural Network Source Code 这里是神经网络的源代码：
一般地，机器学习、深度学习 feed 进来的数据要求为数值型。如果某列取值为字符型，需要做数值转换，今天就来总结下 TensorFlow 中的指标列和嵌入列。
01 概述 在本文中，我们将讨论 TensorFlow 中当前可用的所有抽象模型，并描述该特定模型的用例以及简单的示例代码。 完整的工作示例源码（https://github.com/camrongo
在本文中，作者解释了感兴趣区域池化（RoI 池化）的基本概念和一般用法，以及如何使用它来实现注意力机制。他一步步给出了在 Keras 和 TensorFlow 环境下使用 RoI 池化的实现。
作者 | 汪剑 责编 | 何永灿 Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型，并应用到了 Google Play 的应用推荐中 [1]。wide and deep 模型的核心思想是结合线性模型的记忆能力（memorization）和 DNN 模型的泛化能力（generalization），在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。 结合我们的产品应用场景同 Google Play 的推荐场景存在较多的类似
本文介绍了如何用 TensorFlow 实现手写数字识别（MNIST 数据集）的模型训练和推理过程。首先介绍了 TensorFlow 的安装和配置过程，然后详细讲解了如何使用 TensorFlow 创建一个简单的神经网络模型，并使用 TensorFlow 的 API 进行模型训练和推理。最后，文章对 TensorFlow 的扩展和定制进行了简单的介绍，并使用 TensorFlow 的预测结果对数字进行识别。
2、新建conda环境变量，可建多个环境在内部安装多个tensorflow版本，1.x和2.x版本功能差别太大，代码也很大区别
前段时间研究了SDL项目，看到了Spark的宏大愿景，写了篇Spark新愿景：让深度学习变得更加易于使用。后面看了TFoS,感觉很是巧妙，写了一篇TensorFlowOnSpark 源码解析。这些项目都得益于Spark对python的支持，所以了解了下spark和python如何进行交互的，可参看此文PySpark如何设置worker的python命令。
选自ruder.io 作者：Sebastian Ruder 机器之心编译 参与：Geek AI、张倩 本文探讨了如何使用自定义的 TensorFlow Estimator、嵌入技术及 tf.layers 模块来处理文本分类任务，使用的数据集为 IMDB 评论数据集。通过本文你将学到如何使用 word2vec 词嵌入和迁移学习技术，在有标签数据稀缺时获得更好的模型性能。 本文主要内容如下： 使用 Datasets 装载数据 使用预封装好的评估器（estimator）构建基线 使用词嵌入技术 通过卷积层和 LS
本文选自介绍 TensorFlow 的 Datasets 和 Estimators 模块系列博文的第四部分。读者无需阅读所有之前的内容，如果想重温某些概念，可以查看以下链接：
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/79265090
学习资料： https://www.tensorflow.org/get_started/tflearn
在介绍Estimator之前需要对它在TensorFlow这个大框架的定位有个大致的认识，如下图示：
在本节中，我们将研究许多人工神经网络（ANN）应用。 这些包括图像识别，神经风格迁移，文本风格生成，时尚识别以及电影评论的 IMDb 数据库的语义分析。
本文介绍了如何使用 TensorFlow 2.0 和 Keras 在 Python 中实现一个简单的深度学习模型，并使用该模型对波士顿房价数据进行预测。首先，作者介绍了如何加载和预处理数据，然后使用 TensorFlow 2.0 和 Keras 搭建了一个简单的神经网络模型，最后使用该模型对波士顿房价数据进行预测并输出预测结果。
wide & deep模型是Google在2016年发布的一类用于分类和回归的模型。该模型应用到了Google Play的应用推荐中，有效的增加了Google Play的软件安装量。目前wide & deep模型已经开源，并且在TensorFlow上提供了高级API。
tf.test.is_gpu_available() # 判断gpu可用与否 ``` 2. 从镜像配置 ```shell # 云端的系统镜像直接有开发环境 # 升级tensorflow 版本 pip install --upgrade tensorflow-gpu==2.0.0 pip3 install --upgrade tensorflow-gpu==2.0.0 ```
在开篇之前，请允许我吐槽几段文字，发泄一下TF的不便之处。如果对这部分内容不敢兴趣请直接看正文内容。
在实际的业务中，可能会遇到很大量的特征，这些特征良莠不齐，层次不一，可能有缺失，可能有噪声，可能规模不一致，可能类型不一样，等等问题都需要我们在建模之前，先预处理特征或者叫清洗特征。那么这清洗特征的过程可能涉及多个步骤可能比较复杂，为了代码的简洁，我们可以将所有的预处理过程封装成一个函数，然后直接往模型中传入这个函数就可以啦~~~ 接下来我们看看究竟如何做呢？ 01 如何使用input_fn自定义输入管道 当使用tf.contrib.learn来训练一个神经网络时，可以将特征，标签数据直接输入到.fit(
学习资料： https://www.tensorflow.org/get_started/tflearn 相应的中文翻译： http://studyai.site/2017/03/05/%E3%80%90Tensorflow%20r1.0%20%E6%96%87%E6%A1%A3%E7%BF%BB%E8%AF%91%E3%80%91%E3%80%90tf.contrib.learn%E5%BF%AB%E9%80%9F%E5%85%A5%E9%97%A8%E3%80%91/ ---- 今天学习用 tf.c
这里定义含有两个隐含层的模型，隐含层输出均为256个节点，输入784（MNIST数据集图片大小28*28），输出10。
本文主要记录切换项目至TF2.0+后使用TFRecordDataset保存训练数据与使用estimator建模及后续的模型或者checkpoint加载使用预测的一些基本方法及踩过的坑。
TensorFlow提供了tf.nn.conv2d() 和tf.nn.bias_add() 函数来创建你自己的卷积层。
在这篇文章中，我们将会介绍如何使用 TF.Learn API 同时训练一个广度线性模型和一个深度前馈神经网络。这种方法结合了记忆和泛化的优势。它在一般的大规模回归和具有稀疏输入特性的分类问题（例如，分
神经风格迁移是一种优化技术，用于将两个图像——一个内容图像和一个风格参考图像（如著名画家的一个作品）——混合在一起，使输出的图像看起来像内容图像， 但是用了风格参考图像的风格。
【导读】本文是谷歌机器学习工程师 Chris Rawles 撰写的一篇技术博文，探讨了如何在 TensorFlow 和 tf.keras 上利用 Batch Normalization 加快深度神经网络的训练。我们知道，深度神经网络一般非常复杂，即使是在当前高性能GPU的加持下，要想快速训练深度神经网络依然不容易。Batch Normalization 也许是一个不错的加速方法，本文介绍了它如何帮助解决梯度消失和梯度爆炸问题，并讨论了ReLu激活以及其他激活函数对于抵消梯度消失问题的作用。最后，本文使用Te
K_Means其实用sklearn即可，TensorFlow1.0早期版本支持K_Means，在2.0之后，由于很多api废弃，导致实现K_Means有很多坑。以下为踩坑记录。 完整代码路径：https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_kmeans
归一化技术的改进是生成对抗网络(Generative Adversarial Networks, GAN)中众多改进的一种，本文介绍常用于当前GAN中的像素归一化(Pixel normalization，或称为像素规范化)和频谱归一化(Spectral normalization，或称频谱规范化)，在高清图片生成中，这两种归一化技术得到了广泛使用，最后使用Tensorflow2实现像素归一化和频谱归一化。
大家好！ 在本教程中，我们将使用 TensorFlow 的命令模式构建一个简单的前馈神经网络。 希望你会发现它很有用！ 如果你对如何改进代码有任何建议，请告诉我。
作者 | Vivek Rathod 和 Jonathan Huang，Google Research
特征列 通常用于对结构化数据实施特征工程时候使用，图像或者文本数据一般不会用到特征列。
本文是 Python 系列的第十四篇，也是深度学习框架的 Keras 中篇，离上篇相隔时间太久。整套 Python 盘一盘系列目录如下：
tensorflow中数据的读入相关类或函数： 占位符（Placeholders） tf提供一种占位符操作，在执行时需要为其提供数据data。 操作 描述 tf.placeholder(dtype, shape=None, name=None) 为一个tensor插入一个占位符 eg:x = tf.placeholder(tf.float32, shape=(1024, 1024)) tf.placeholder_with_default(input, shape, name=None)
注意，已经很多很多人和我说最后的loss不变，大家的数据都不一样，如果发现loss不变请降低learning_rate = 1e-6，就可以解决，还有问题的话，公众号里面联系我，帮助大家搞定。
Evacloud 参考文献吴恩达deeplearningai课程课程笔记Udacity课程 """ 大多数情况下，您将能够使用高级功能，但有时您可能想要在较低的级别工作。例如，如果您想要实现一个新特性—一些新的内容，那么TensorFlow还没有包括它的高级实现， 比如LSTM中的批处理规范化——那么您可能需要知道一些事情。 这个版本的网络的几乎所有函数都使用tf.nn包进行编写，并且使用tf.nn.batch_normalization函数进行标准化操作 'fully_connected'函数的
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
