文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TensorFlow－5: 用 tf.contrib.learn 来构建输入函数

学习资料： https://www.tensorflow.org/get_started/input_fn 对应的中文翻译： http://studyai.site/2017/03/06/%E3%80%...问题： 给一组波士顿房屋价格数据，要用神经网络回归模型来预测房屋价格的中位数 数据集可以从官网教程下载： https://www.tensorflow.org/get_started/input_fn.../tensorflow/blob/master/tensorflow/examples/tutorials/input_fn/boston.py """DNNRegressor with custom...，它可以接受 pandas 的 Dataframe 结构，并将特征和标签列作为 Tensors 返回 在训练时，只需要把训练数据集传递给输入函数，用 fit 迭代5000步 评价模型时，也是将测试数据集传递给输入函数...，再用 evaluate 预测时，同样将预测数据集传递给输入函数 ---- 关于 输入函数： 昨天学到读取 CSV 文件的方法适用于不需要对原来的数据有什么操作的时候 但是当需要对数据进行特征工程时

74870

Tensorflow高级API的进阶--利用tf.contrib.learn建立输入函数

01 如何使用input_fn自定义输入管道 当使用tf.contrib.learn来训练一个神经网络时，可以将特征，标签数据直接输入到.fit(),.evaluate(),.predict()操作中...然而在实际的业务中我们往往需要去做大量的特征工程，于是tf.contrib.learn支持使用一个用户自定义的输入函数input_fn来封装数据预处理的逻辑，并且将数据通过管道输送到模型中。...打印出来应是： [[0, 6, 0, 0, 0] [0, 0, 0, 0, 0] [0, 0, 0, 0, 0.5]] 1.3 如何将input_fn数据传给模型 在输入函数input_fn中封装好了特征预处理的逻辑...： classifier.fit(input_fn=my_input_fn(training_set), steps=2000) 如果你想直接传参数给输入函数，可以选择令爱几个方法： （1）再写一个封装函数如下...(my_input_function, data_set=training_set), steps=2000) （3）在lambda中调用输入函数，然后将参数传入input_fn中 classifier.fit

1.1K100
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    TensorFlow之estimator详解

    Estimator初识 框架结构 在介绍Estimator之前需要对它在TensorFlow这个大框架的定位有个大致的认识，如下图示： ?...n_classes=3) 注意在实例化Estimator的时候不用把数据传进来，你只需要把feature_columns传进来即可，告诉Estimator需要解析哪些特征值，而数据集需要在训练和评估模型的时候才传...这个是需要我们自定义的网络模型函数，后面详细介绍 config: 用于控制内部和checkpoints等，如果model_fn函数也定义config这个变量，则会将config传给model_fn params: 该参数的值会传递给...loss示例如下： # Compute loss. loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits) TensorFlow...tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op) 通用模式 model_fn可以填充独立于模式的所有参数.在这种情况下,Estimator将忽略某些参数

    1K20

    TensorFlow之estimator详解

    Estimator初识 框架结构 在介绍Estimator之前需要对它在TensorFlow这个大框架的定位有个大致的认识，如下图示： [1655tcu0ps.png] 可以看到Estimator是属于...n_classes=3) 注意在实例化Estimator的时候不用把数据传进来，你只需要把feature_columns传进来即可，告诉Estimator需要解析哪些特征值，而数据集需要在训练和评估模型的时候才传...这个是需要我们自定义的网络模型函数，后面详细介绍 config: 用于控制内部和checkpoints等，如果model_fn函数也定义config这个变量，则会将config传给model_fn params: 该参数的值会传递给...loss示例如下： # Compute loss. loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits) TensorFlow...tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op) 通用模式 model_fn可以填充独立于模式的所有参数.在这种情况下,Estimator将忽略某些参数

    1.9K20

    TensorFlow 入门（一）：基本使用

    例如, 你可以将一小组图像集表示为一个四维浮点数数组, 这四个维度分别是 [batch, height, width, channels]. 一个 TensorFlow 图描述了计算的过程....会话 将图的 op 分发到诸如 CPU 或 GPU 之类的 设备 上, 同时提供执行 op 的方法. 这些方法执行后, 将产生的 tensor 返回....源 op 的输出被传递给其它 op 做运算. Python 库中, op 构造器的返回值代表被构造出的 op 的输出, 这些返回值可以传递给其它 op 构造器作为输入....TensorFlow Python 库有一个默认图 (default graph), op 构造器可以为其增加节点. 这个默认图对 许多程序来说已经足够用了....启动图的第一步是创建一个 Session 对象, 如果无任何创建参数, 会话构造器将启动默认图. # 启动默认图. sess = tf.Session() # 调用 sess 的 'run()' 方法来执行矩阵乘法

    66920

    使用 TensorFlow 做机器学习第一篇

    前言 前段时间内，Google在TensorFlow Dev Summit大会上吹了一帮使用TensorFlow做机器学习，说是仿照scikit-learn的api来写的，看着很有诱惑性 有一些算法可能官方文档里面没有...先描述下这里做实验的数据集，下载地址census income mld，是收集美帝的收入的记录，feature是一些个人信息包括工作、年纪、学历水平、家庭情况等等大概40个维度，标签是是否年收入在50k以上，即一个二类分类器。...return feature_cols, label 在经过特征的处理之后，由于我们这里数据没有直接格式化分开成data、target，所以我们要做一个input_fn的处理，将输入处理，参考仓库源码...，将连续性特征转换为列名和constant值的dict，categorical转化为特殊格式的SparseTensor格式。...tfg)就可输出训练过程中的loss信息: 当然这里是很粗糙的,另外不知道怎么的RF的evaluate没有accuracy的输出，为了输出相关的信息，我这里定义了validation_metrics传递给

    6.9K20

    译文 | 简明 TensorFlow 教程：所有的模型

    01 概述 在本文中，我们将讨论 TensorFlow 中当前可用的所有抽象模型，并描述该特定模型的用例以及简单的示例代码。...6.png 04 前馈型神经网络 用例：分类和回归 这些网络由一层层的感知器组成，这些感知器接收将信息传递到下一层的输入，由网络中的最后一层输出结果。 在给定层中的每个节点之间没有连接。...=input_fn, steps=30) accuracy = svm_classifier.evaluate(input_fn=input_fn, steps=1)['accuracy'] ?...宽和深的网络将线性模型与前馈神经网络结合，使得我们的预测将具有记忆和泛化。 这种类型的模型可以用于分类和回归问题。 这允许利用相对准确的预测来减少特征工程。 因此，能够结合两个模型得出最好的结果。...=lambda: input_fn(df_train, True), steps=200) print m.predict(input_fn=lambda: input_fn(df_test)) results

    1K70

    Tensorflow笔记：高级封装——tf.Estimator

    相比于原生tensorflow更便捷、相比与keras更灵活，属于二者的中间态。 实现一个tf.Estimator主要分三个部分：input_fn、model_fn、main三个函数。...1. input_fn 读过我的另一篇文章：Tensorflow笔记：TFRecord的制作与读取 的同学应该记得那里面的read_and_decode函数，其实就和这里的input_fn逻辑是类似的，...的batch Args: filenames: TFRecord文件 batch_size: batch_size大小 num_epochs: 将TFRecord...总之这种形式的input_fn其实类似一种迭代器，每次调用都会返回一个batch的数据。但是这里面的_parse_fn函数的内容，就要根据实际情况来编写了。...最后如果是train任务，除了网络结构、loss，还需要优化器、学习率等内容，所以定义train_op的部分在这里进行。最后以tf.estimator.EstimatorSpec形式返回。

    2.3K10

    译文 | 简明 TensorFlow 教程：混合模型

    广泛深度网络 宽和深网络将线性模型与前馈神经网络结合，使得我们的预测将具有记忆和通用化。 这种类型的模型可以用于分类和回归问题。...dimension=8), age, passenger_id, sib_sp, parch, fare, ] 我们通过使用深度列和广度列来创建分类器，...=lambda: input_fn(df_train, True), steps=200) print m.predict(input_fn=lambda: input_fn(df_test))...这些 csv 文件将通过调用 input_fn 函数转换为 tensors 。 我们先构建评价指标，然后打印我们的预测和评估结果。 结果 ?...对比图 与传统广度线性模型一起添加嵌入层的能力，允许通过将稀疏维度降低到低维度来进行准确的预测。 结论 这部分偏离了传统的深度学习，说明 Tensorflow 还有许多其他用途和应用。

    1.3K60

    精通 TensorFlow 1.x：16~19

    R 通过提供以下 R 包提供对 TensorFlow 和 Keras 的支持： tensorflow包提供对 TF 核心 API 的支持 tfestimators包提供对 TF 估计器 API 的支持...有关tensorflow R 包的更多文档可以在此链接中找到。 R 中的 TF 估计器 API 我们在第 2 章中了解了 TensorFlow 估计器 API。...通过此链接查找 R 中 TF 估计器的更多示例。 有关tensorflow R 包的更多文档可以在此链接中找到 R 中的 Keras API 我们在第 3 章中了解了 Keras API。...总结 在本章中，我们学习了如何在 R 中使用 TensorFlow 核心，TensorFlow 估计器和 Keras 包来构建和训练机器学习模型。...tpu_estimator：tpu_estimator模块将估计器封装在TPUEstimatorSpec类中。要在 TPU 上运行估计器，我们创建此类的对象。

    4.9K10

    TensorFlow 数据集和估算器介绍

    TensorFlow 1.3 引入了两个重要功能，您应当尝试一下： 数据集：一种创建输入管道（即，将数据读入您的程序）的全新方式。 估算器：一种创建 TensorFlow 模型的高级方式。...结合使用这些估算器，可以轻松地创建 TensorFlow 模型和向模型提供数据： 我们的示例模型 为了探索这些功能，我们将构建一个模型并向您显示相关的代码段。...从技术角度而言，我们在这里说的“列表”实际上是指 1-d TensorFlow 张量。 为了方便重复使用 input_fn，我们将向其中添加一些参数。这样，我们就可以使用不同设置构建输入函数。...下面是估算器的类图： 我们希望在未来版本中添加更多的预制估算器。 正如您所看到的，所有估算器都使用 input_fn，它为估算器提供输入数据。...这是我们将数据集与估算器连接的位置！估算器需要数据来执行训练、评估和预测，它使用 input_fn 提取数据。

    88890

    【TensorFlow】DNNRegressor 的简单使用

    tf.contrib.learn.DNNRegressor 是 TensoFlow 中实现的一个神经网络回归器。一般神经网络用于分类问题的比较多，但是同样可以用于回归问题和无监督学习问题。...大致有以下几种模型，具体可参考 Learn (contrib)： K-means 聚类 tf.contrib.learn.KMeansClustering 神经网络分类器 tf.contrib.learn.DNNClassifier...神经网络回归器 tf.contrib.learn.DNNRegressor 广度深度回归 tf.contrib.learn.DNNLinearCombinedRegressor 广度深度分类 tf.contrib.learn.DNNLinearCombinedClassifier...的话就比较好理解：我们是先定义一些计算图，这时候并不真正的传入数据，然后在训练的时候去执行这个计算图，也就是说这时候才开始将真正的数据穿进去。...tf.contrib.layers.real_valued_column(k) for k in FEATURE_COLUMNS] 定义 regressor 这里就到定义模型的时候了，也就是 DNNRegressor，将我们前面定义的 FeatureColumn 传进去

    2.8K90
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券