tf.FIFOQueue()

Tensorflow–tf.FIFOQueue详解 描述

tf.FIFOQueue根据先进先出(FIFO)的原则创建一个队列。队列是Tensorflow的一种数据结构,每个队列的元素都是包含一个或多个张量的元组,每个元组都有静态的类型和尺寸。入列和出列可以支持一次一个元素,或一次一批元素。它继承于Tensorflow队列执行的基类tf.QueueBase。队列是Tensorflow计算图异步处理张量的重要对象。 初始化

init

__init__(
    capacity,
    dtypes,
    shapes=None,
    names=None,
    shared_name=None,
    name='fifo_queue'
)

创建一个队列元素按照先进先出的顺序出列的队列。

参数:

  • capacity 整形数字,标识队列可以存储的元素的最大数量
  • dtypes 一个Dtype对象的列表,长度等于队列元素中的张量个数
  • shapes 队列元素中的每个组成部分的尺寸对象组成的列表
  • name 队列操作的命名
  • shared_name 队列在不同session共享时使用的名称
  • names 队列元素中的每个组成部分的命名组成的列表

方法

close

 close(
    cancel_pending_enqueues=False,
    name=None
)

此方法用来关闭队列,标示没有元素再入列,如果队列中还有元素,则出列操作可以执行,否则会失败。 参数:

  • cancel_pending_enqueues: 可选,boolean类型,默认False,为True的时候,挂起的请求将被取消;
  • name:可选,队列操作的名称

返回值:

  • 返回队列的关闭操作

dequeue

dequeue(name=None)

从队列中移出一个元素。当队列为空的时候,将会阻止此操作,直到有一个元素可以出列。队列关闭的情况下,操作会报错。如果队列为空且没有入列操作可执行,则报 tf.errors.OutOfRangeError错误。 如果执行此操作的session关闭, 将报tf.errors.CancelledError错误。

参数:

  • name:可选,队列操作的名称

返回值:

  • 返回包含出列张量的元组

dequeue_many

 dequeue_many(
    n,
    name=None
)

将n个元素连接到一起移出队列。本操作会将张量的第0维连接到一起形成一个张量出列,所以所有出列的元素组成的元组的第0维的尺寸为n。 如果队列已经关闭,或是队列中剩余的元素少于n个且没有要执行的入列操作会填充队列,则会报 OutOfRange exception的错。如果session关闭,则会报 tf.errors.CancelledError的错。 参数:

  • n: 出列张量包含的元素个数
  • name:可选,队列操作的名称

返回值:

  • 一组连接在一起出列张量组成的列表。

dequeue_up_to

 dequeue_up_to(
    n,
    name=None
)

将n个元素连接到一起移出队列。本操作会将张量的第0维连接到一起形成一个张量出列,所以如果队列没有关闭,所有出列的元素组成的元组的第0维的尺寸为n。如果队列已经关闭且队列中剩余的元素大于0少于n,则不会像dequeue_many报 OutOfRange exception的错,而是会立即返回少于n的元素。如果队列已经关闭且队列中剩余的元素等于0,则会像dequeue_many一样报OutOfRange exception的错。其他的操作和dequeue_many一样。注意:不是所有的队列都支持这个操作,如果队列不支持这个操作,会报tf.errors.UnimplementedError错。

参数:

  • n: 出列张量包含的元素个数
  • name:可选,队列操作的名称

返回值:

  • 一组连接在一起出列张量组成的元组。

enqueue

 enqueue(
    vals,
    name=None
)

队列中入列一个元素。如果执行的时候队列已满,将会阻止操作。如果队列关闭,执行会报tf.errors.CancelledError错。如果队列关闭的时候设置cancel_pending_enqueues=True或session关闭,操作会阻止且报tf.errors.CancelledError错误。 参数:

  • vals: 入列的数据,可以是张量、张量组成的列表或元组,或是字典
  • name:可选,队列操作的名称

返回值:

  • 一组张量的入列操作

enqueue_many

 enqueue_many(
    vals,
    name=None
)

入列0或多个元素。本操作将每个元素的第0维切分出来组成多个队列元素作为输入,输入的张量第0维的大小要相同。如果队列已满,操作会被阻止。如果队列关闭,将报tf.errors.CancelledError错。如果队列关闭的时候设置cancel_pending_enqueues=True或session关闭,操作会阻止且报tf.errors.CancelledError错误。 参数:

  • vals: 入列的数据,可以是张量、张量组成的列表或元组,或是字典
  • name:可选,队列操作的名称

返回值:

  • 一批张量的入列操作

is_closed

is_closed(name=None)

队列关闭,返回true;否则,返回false

参数:

  • name:可选,队列操作的名称

返回:

  • 队列关闭,返回true;否则,返回false

size

size(name=None)

计算队列的元素数目 参数:

  • name:可选,队列操作的名称

返回值:

  • 包含队列元素数目的张量

示例

举几个例子帮助理解队列的出列和入列

import tensorflow as tf

input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]
q=tf.FIFOQueue(3,dtypes=[tf.float32])
init=q.enqueue(input_data)
output_data=q.dequeue()

with tf.Session() as sess:
    init.run()
    init.run()
    print('1:',sess.run(output_data))
    print('2:',sess.run(output_data))
    print('3:',sess.run(output_data))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

-----------------
1: [3. 2. 1.]
2: [3. 2. 1.]
True
-----------------
import tensorflow as tf

input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]
input_data1=[[33.,22.,11.],[11.,22.,33.],[111.,222.,333.]]

q=tf.FIFOQueue(3,dtypes=[tf.float32])
init=q.enqueue(input_data)
init1=q.enqueue(input_data1)

output_data=q.dequeue()

with tf.Session() as sess:
    init.run()
    init1.run()
    print('1:',sess.run(output_data))
    print('2:',sess.run(output_data))
    print('3:',sess.run(output_data))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

enqueue()每次入列一个元素,对于同一个输入数据,多次入列会重复入列相同元素。dequeue()每次出列一个元素。

import tensorflow as tf

input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]
print(tf.shape(input_data))
q=tf.FIFOQueue(3,dtypes=[tf.float32],shapes=[[]])
init=q.enqueue_many(input_data)
output_data=q.dequeue()
with tf.Session() as sess:
    init.run()
    print('1:',sess.run(output_data))
    print('2:',sess.run(output_data))
    print('3:',sess.run(output_data))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

因为shapes=[[]],所以输入数据input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]只有[3.,2.,1.]入列,所有第0维的张量为3.,2.,1.,enqueue_many会将他们组合在一起输入队列,所以队列的元素为3.,2.,1.

修改代码为:

import tensorflow as tf

input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]
print(tf.shape(input_data))
q=tf.FIFOQueue(3,dtypes=[tf.float32,tf.float32],shapes=[[],[]])
init=q.enqueue_many(input_data)

output_data=q.dequeue()
with tf.Session() as sess:
    init.run()
    print('1:',sess.run(output_data))
    print('2:',sess.run(output_data))
    print('3:',sess.run(output_data))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

因为shapes=[[],[]],所以输入数据input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]有[[3.,2.,1.],[11.,22.,33.]]入列,先将[3.,2.,1.]和[11.,22.,33.]第0维的3.和11.组合成一个张量[3.0, 11.0],然后2.和22.就变为0维度,组成第二个张量[2.0, 22.0],最后1.和33.变为0维度,组成第三个张量[1.0, 33.0],所以队列的元素为 [3.0, 11.0],[2.0, 22.0],[1.0, 33.0]

修改代码

import tensorflow as tf

input_data=[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]]
q=tf.FIFOQueue(3,dtypes=[tf.float32,tf.float32],shapes=[[],[]])
init = q.enqueue_many(input_data)
output_data_many=q.dequeue_many(2)

with tf.Session() as sess:
    init.run()
    print("Many:", sess.run(output_data_many))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

如上例队列的元素为 [3.0, 11.0],[2.0, 22.0],[1.0, 33.0],dequeue_many(2)将队列元素的第0维3.,2.,1.中取2个数据组成[3., 2.],然后11.,22.,33.变为第0维,再取2个数据组成[11., 22.],所以出列的数据为[[3., 2.],[11., 22.],]

import tensorflow as tf

input_data=[[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]],[[23.,22.,21.],[211.,222.,233.],[2111.,2222.,2333.]]]
print(tf.shape(input_data))
q=tf.FIFOQueue(3,tf.float32)
init=q.enqueue_many(input_data)
output_data=q.dequeue()
with tf.Session() as sess:
    init.run()
    print('1:',sess.run(output_data))
    print('2:',sess.run(output_data))
    print('3:',sess.run(output_data))
    sess.run(q.close(cancel_pending_enqueues=True))
    print(sess.run(q.is_closed()))

输入数据input_data=[[[3.,2.,1.],[11.,22.,33.],[111.,222.,333.]],[[23.,22.,21.],[211.,222.,233.],[2111.,2222.,2333.]]]为三维,所有第0维的张量为[3. 2. 1.],[11. 22. 33.], [111. 222. 333.],enqueue_many会将他们组合在一起输入队列,所以队列的元素为[3. 2. 1.],[11. 22. 33.], [111. 222. 333.] 转载地址:https://blog.csdn.net/fegang2002/article/details/82949863

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券