前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >tf.ReaderBase

tf.ReaderBase

作者头像
狼啸风云
修改2022-09-03 21:59:31
5450
修改2022-09-03 21:59:31
举报

目录

1、__init__

2、属性

3、num_records_produced

4、num_work_units_completed

5、read

6、read_up_to

7、reset

8、restore_state

9、serialize_state


用于不同读取器类型的基类,该基类将生成每个步骤的记录。从概念上讲,读取器将字符串“工作单元”转换为记录(键、值对)。通常,“工作单元”是文件名,记录是从这些文件的内容中提取的。我们希望每个步骤生成一条记录,但是一个工作单元可以对应多个记录。因此,我们引入了一些使用队列的解耦。队列包含工作单元,当请求读取器生成一条记录(通过Read())但它已经完成了最后一个工作单元时,读取器将从队列中退出。

Eager Compatibility

读取器与急于执行不兼容。相反,请使用tf.data将数据放入模型中。

1、__init__

代码语言:javascript
复制
__init__(
    reader_ref,
    supports_serialize=False
)

创建一个新的ReaderBase。

参数:

  • reader_ref:实现阅读器的操作。
  • supports_serialize:如果阅读器实现可以序列化其状态,则为True。

可能产生的异常:

  • RuntimeError: If eager execution is enabled.

2、属性

  • reader_ref:实现读取器的Op。
  • supports_serialize:阅读器实现是否可以序列化其状态。

3、num_records_produced

代码语言:javascript
复制
num_records_produced(name=None)

返回此阅读器已生成的记录的数量。这与成功执行的读操作数量相同。

参数:

  • name:操作的名称(可选)。

返回值:

  • 一个int64张量。

4、num_work_units_completed

代码语言:javascript
复制
num_work_units_completed(name=None)

返回此阅读器已完成处理的工作单元的数量。

参数:

  • name:操作的名称(可选)。

返回值:

  • 一个int64张量。

5、read

代码语言:javascript
复制
read(
    queue,
    name=None
)

返回读取器生成的下一个记录(键、值)对。如果需要,将一个工作单元从队列中取出(例如,当读取器需要开始从一个新文件中读取,因为它已经完成了前一个文件)。

参数:

  • queue:用字符串工作项表示队列句柄的队列或可变字符串张量。
  • name:操作的名称(可选)。

返回值:

  • 张量的元组(键、值)。
  • key:弦标量张量。
  • value:字符串标量张量。

6、read_up_to

代码语言:javascript
复制
read_up_to(
    queue,
    num_records,
    name=None
)

返回最多由读取器生成的num_records(键、值)对。如果需要,将一个工作单元从队列中取出(例如,当读取器需要开始从一个新文件中读取,因为它已经完成了前一个文件)。甚至在最后一个批处理之前,它返回的值也可能小于num_records。

参数:

  • queue:用字符串工作项表示队列句柄的队列或可变字符串张量。
  • num_records:要读取的记录数量。
  • name:操作的名称(可选)。

返回值:

  • 张量(键、值)的元组。
  • 键:一维弦张量。
  • 值:一维弦张量。

7、reset

代码语言:javascript
复制
reset(name=None)

将阅读器恢复到其初始清洁状态。

参数:

  • name:操作的名称(可选)。

返回值:

  • 创建操作。

8、restore_state

代码语言:javascript
复制
restore_state(
    state,
    name=None
)

将阅读器恢复到以前保存的状态。并非所有阅读器都支持恢复,因此这可能会产生未实现的错误。

参数:

  • state:一个弦张量。具有匹配类型的阅读器的串行化的结果。
  • name:操作的名称(可选)。

返回值:

  • 创建操作。

9、serialize_state

代码语言:javascript
复制
serialize_state(name=None)

生成一个字符串张量来编码阅读器的状态。并不是所有阅读器都支持序列化,因此这可能会产生未实现的错误。

参数:

  • name:操作的名称(可选)。

返回值:

  • 一个字符串张量。
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019年08月31日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、__init__
  • 2、属性
  • 3、num_records_produced
  • 4、num_work_units_completed
  • 5、read
  • 6、read_up_to
  • 7、reset
  • 8、restore_state
  • 9、serialize_state
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档