我想迭代TF数据集,以便将获得的数据转换为numpy张量。作为tensorflow的新手,我的代码如下所示
def convert_dataset_to_pytorch(self, dataset):
sess = tf.Session(config=self.config)
iterator = dataset.make_one_shot_iterator()
exampleTF, labelsTF = iterator.get_next()
examples = torch.Tensor()
labels = torch.Tensor()
try:
while True:
examples = torch.cat((examples,torch.Tensor(exampleTF.eval(session=sess))),0)
labels = torch.cat((labels,torch.Tensor([labelsTF.eval(session=sess)])),0)
except tf.errors.OutOfRangeError:
pass
return examples, labels
显而易见的问题是,每次对eval()的调用都会遍历exampleTF和labelsTF,因此会跳过一半的条目。有什么帮助吗?我也试过像这样的东西
def convert_dataset_to_pytorch(self, dataset):
sess = tf.Session(config=self.config)
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()
examples = torch.Tensor()
labels = torch.Tensor()
try:
while True:
sess.run(next_element)
examples = torch.cat((examples,torch.Tensor(next_element[0])),0)
labels = torch.cat((labels,torch.Tensor([next_element[0]])),0)
except tf.errors.OutOfRangeError:
pass
return examples, labels
但是这只会导致表单的错误
examples = torch.cat((examples,torch.Tensor(next_element[0])),0)
TypeError: object of type 'Tensor' has no len()
发布于 2019-05-09 03:33:20
不确定为什么要在tensorflow中创建pytorch张量,而您只想要一个numpy张量。回答你的问题(下面提到)
迭代TF数据集,以便将获得的数据转换为numpy张量。
示例代码:
import numpy as np
inc_dataset = tf.data.Dataset.range(100)
dec_dataset = tf.data.Dataset.range(0, -100, -1)
dataset = tf.data.Dataset.zip((inc_dataset, dec_dataset))
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()
result = list()
with tf.Session() as sess:
try:
while True:
result.append(sess.run(next_element))
except tf.errors.OutOfRangeError:
pass
examples = np.array(list(zip(*result))[0])
labels = np.array(list(zip(*result))[1])
现在您可以将examples
和labels
np数组转换为pytorch或tensorflow张量,或者转换为您想要的任何张量。
https://stackoverflow.com/questions/56047379
复制相似问题