腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >从输入管道获取当前时标

问从输入管道获取当前时标
EN

Stack Overflow用户

提问于 2017-05-20 13:15:44

回答 1查看 571关注 0票数 3

我使用具有划时代限制的tf.train.string_input_producer将数据输入到我的模型中。在训练过程中，我怎样才能得到这一行动的当前时代？

我注意到图中有一些与这个op相关的节点，其中一个包含了时间限制，但是我找不到实际的当前值存储在哪里。这肯定是被追踪到什么地方了？

更普遍地说，如何监视TFRecords管道中的当前时代？

tensorflow

实时音视频9.9元起，弱网高质量通信

9.9元畅享2万分钟实时音视频通话时长，低成本、低门槛快速接入端到端延时＜300ms 的高品质实时互动通话

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-07-21 06:17:24

我在TF里找不到这个。

我的解决方案是手动完成它，方法是批处理(无限)重复，并按我想要的频率调用我的节点(通过计算数据集中的项目数预先确定，除以批处理大小=一个时代)。

在最近使用tensorflow.contrib.data.TFRecordDataset发布TF时，这变得更容易了。

d = TFRecordDataset('some_filename.tfrecords')
d = d.map(function_which_parses_your_protobuf_format)
d = d.repeat()
d = d.shuffle()
d = d.batch(batch_size)

然后可以使用以下方法确定数据集的大小

record_count = sum([1 for r in tf.python_io.tf_record_iteration('your_filename.tfrecord')])

这似乎需要更多的工作，但它提供了更好的灵活性，因为您可以使用缓存，这样您就不必预先处理数据集，从而可以将原始的未触摸数据集存储在tfrecord文件中。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/44090867

复制

Pandas vs Spark：获取指定列的N种方式

python spark 数据结构 sql

本篇继续Pandas与Spark常用操作对比系列，针对常用到的获取指定列的多种实现做以对比。

luanhz

2021/04/12

11.5K0

用SQL语句实现：当A列大于B列时选择A列否则选择B列，当B列大于C列时选择B列否则选择C列。

https java 网络安全

数据库中有A B C三列，用SQL语句实现：当A列大于B列时选择A列否则选择B列，当B列大于C列时选择B列否则选择C列。

全栈程序员站长

2022/07/09

1.7K0

获取GridView中的某列值

java

protected void GridView1_RowEditing(object sen

Java架构师必看

2021/03/22

10.3K0

Spark中SQL列和并为一行

数据分析

但是在 spark 中没有 GROUP_CONCAT 命令，查找后发现命令 concat_ws ：

机器学习和大数据挖掘

2019/07/02

1.7K0

如何在Hue中添加Spark Notebook

spark git http hive hbase

CDH集群中可以使用Hue访问Hive、Impala、HBase、Solr等，在Hue3.8版本后也提供了Notebook组件（支持R、Scala及python语言），但在CDH中Hue默认是没有启用Spark的Notebook，使用Notebook运行Spark代码则依赖Livy服务。在前面Fayson也介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》、《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》、《如何在Kerberos环境的CDH集群部署Livy》、《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》、《如何打包Livy和Zeppelin的Parcel包》和《如何在CM中使用Parcel包部署Livy及验证》，本篇文章Fayson主要介绍如何在Hue中添加Notebook组件并集成Spark。

Fayson

2018/11/16

6.8K1

如何在CDH中启用Spark Thrift

其他

CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar中缺少Hive thrift相关的依赖包，导致CDH用户没法使用JDBC的方式连接Spark并使用Spark SQL。Apache Spark 1.6之后spark-assembly jar 中包含了 Hive 相关的依赖包了，而恰好 CDH5.13 的 spark也是 1.6，所以可以直接使用Apache Spark 1.6 之后的spark-assembly jar替换CDH的。

Fayson

2018/03/29

6K1

sublime 列选择原

ide

2016年11月17日 09:27:24 zzh_my 阅读数：20295 标签： sublime text 更多

拓荒者

2019/03/08

2.6K0

golang 通过reflect 获取struct信息

本示例主要通过反射，了解struct或变量的相关信息，方便调试代码等。示例： package main import ( "fmt" "reflect" ) type Users struct { Id int Name string Age int Market map[int]st

IT工作者

2022/06/30

6490

如何在Hive中使用Struct类型

其他

Hive中支持多种数据类型除了常用的TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY、TIMESTAMP、DECIMAL、DATE、VARCHAR、CHAR类型外，当然还包含一些复杂的数据类型（array、map、struct、union）。本篇文章Fayson主要介绍在Hive中使用Struct类型存储数据。

Fayson

2018/11/16

11.3K0

Spark Java UDAF 输入struct嵌套结构

spark java sql

虽然Spark3.0.0的官方文档1已对Spark Java UDAF进行了说明，并且有example代码。因此本文主要解决在实际开发过程中，遇到的2种问题：

mikeLiu

2020/08/11

2.1K1

如何在 Tableau 中对列进行高亮颜色操作？

analysis excel format legend sum

在做数据分析时，如果数据量比较大，可以考虑使用颜色对重点关注的数据进行高亮操作，显眼的颜色可以帮助我们快速了解数据和发现问题。比如一个数据表可能会有十几到几十列之多，为了更好的看清某些重要的列，我们可以对表进行如下操作——

小马哥的牛棚

2020/08/20

5.9K0

通过域名获取主机IP -- struct addrinfo

tcp/ip 编程算法 node.js mac os

参考书籍：《UNIX环境高级编程》（APUE，男神的书，出第三版了，有需要的私信我）

看、未来

2020/09/11

4.7K0

python中的struct

json python html 编程算法

我们知道python只定义了6种数据类型，字符串，整数，浮点数，列表，元组，字典。但是C语言中有些字节型的变量，在python中该如何实现呢？这点颇为重要，特别是要在网络上进行数据传输的话。

py3study

2020/01/10

5350

如何在gin中获取响应体内容？

实现思路：对gin的responseWriter进行包装，每次写往请求方写响应数据的时候，将响应数据返回出去。step1：定义一个新的CustomResponseWriter，通过组合方式持有一个gin.ResponseWriter和response body缓存。type CustomResponseWriter struct { gin.ResponseWriter body *bytes.Buffer}func (w CustomResponseWriter) Write(b []byt

Johns

2021/04/10

11.7K0

使用spark对hive表中的多列数据判重

spark hive apache

本文处理的场景如下，hive表中的数据，对其中的多列进行判重deduplicate。 1、先解决依赖，spark相关的所有包，pom.xml spark-hive是我们进行hive表spark处理的关键。 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <ver

用户1225216

2018/03/05

5.2K0

如何在Bash中获取数组长度？

bash

在Bash脚本中，数组是一种常用的数据结构，用于存储多个值。在处理数组时，经常需要知道数组的长度，即数组中元素的个数。本文将详细介绍如何在Bash中获取数组长度的方法，以帮助您更好地处理数组操作。

网络技术联盟站

2023/06/17

1.4K0

Python中struct.pack()和struct.unpack()用法

python

python中的struct主要是用来处理C结构数据的，读入时先转换为Python的字符串类型，然后再转换为Python的结构化类型，比如元组(tuple)啥的~。一般输入的渠道来源于文件或者网络的二进制流。

周小董

2019/03/25

16.4K2

如何在Power Query中批量添加自定义列

编程算法

一般情况下，我们如果需要添加列，可以一列一列根据需要进行添加，那如果我们需要根据固定的需求进行批量添加，那如何操作呢？

逍遥之

2020/03/24

8.3K1

如何在CDH中安装Kudu&Spark2&Kafka

其他

在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下，在CentOS6.5操作系统上基于CDH5.12.1集群，使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2和Kafka的过程。

Fayson

2018/03/29

5.8K0

点击加载更多

相似问题

如何在聚合函数中选择spark sql查询中的所有列

217

聚合后获取Spark DataFrame的所有列

spark中多列的聚合

Spark Scala透视后多个聚合列按名称选择列

如何在spark中迭代选择列

活动推荐

提供大模型在企业的应用构建、高效便捷

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例