如何在Tensorflow 2和嵌套列表中使用dataset.map()方法？
在Tensorflow 2中，可以使用dataset.map()方法来对嵌套列表进行操作。dataset.map()方法可以应用于数据集中的每个元素，并通过提供的函数对其进行转换。
首先，确保已经导入了Tensorflow库：
import tensorflow as tf然后，创建一个嵌套列表的数据集：
data = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
dataset = tf.data.Dataset.from_tensor_slices(data)接下来，定义一个函数来处理每个元素。这个函数将应用于数据集中的每个元素，并返回转换后的结果：
def process_element(element):
# 在这里对元素进行处理
# 返回处理后的结果
return element * 2最后，使用dataset.map()方法将定义的函数应用于数据集中的每个元素：
dataset = dataset.map(process_element)现在，数据集中的每个元素都会被传递给process_element函数进行处理，并返回处理后的结果。在这个例子中，每个元素都会乘以2。
完整的代码如下：
import tensorflow as tf
data = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
dataset = tf.data.Dataset.from_tensor_slices(data)
def process_element(element):
return element * 2
dataset = dataset.map(process_element)
for element in dataset:
print(element)这个例子中，输出结果为：
[2, 4, 6]
[8, 10, 12]
[14, 16, 18]这是使用Tensorflow 2和嵌套列表中的dataset.map()方法的基本方法。你可以根据自己的需求定义不同的处理函数来对数据集进行转换。
相关·内容
1回答
如何在TensorFlow 2.0中使用Dataset.window()方法创建的窗口？
python、tensorflow2.0
我正在尝试使用TensorFlow 2.0创建一个数据集，它将返回时间序列中的随机窗口，以及作为目标的下一个值。 我使用的是Dataset.window()，它看起来很有前途： import tensorflow as tf
dataset = tf.data.Dataset.from_tensor_slices(tf.range(10))
dataset = dataset.window(5, shift=1, drop_remainder=True)
for window in dataset:
print([elem.numpy() for elem in window])
浏览 15提问于2019-03-30得票数 26
回答已采纳
3回答
如何在tensorflow DataSet的每次迭代中添加随机性？
python、tensorflow、dataset
我使用的是Estimator API。我希望通过DataSet在每次迭代中动态处理每个小批处理(或每个元素)。
例如，每当数据集中的每个元素被批处理并输入到model_fn中时，我都会向其中的每个元素添加随机噪声。
dataset.map()似乎只被调用一次，并且通过dataset.repeat()的后续传递是静态的。这是我尝试过的：
import tensorflow as tf
import numpy as np
import random
dx = tf.data.Dataset.from_tensor_slices([10.0, 20.0, 30.0])
dx = dx.map(
浏览 0提问于2019-10-25得票数 1
1回答
错误的形状数据集Tensorflow
python、tensorflow
我是tensorflow的新手，我正在尝试用tensorflow.Dataset提供一些数据。我正在使用Cityscape数据集和8个不同的类。下面是我的代码： import os
import cv2
import numpy as np
import tensorflow as tf
H = 256
W = 256
id2cat = np.array([0,0,0,0,0,0,0, 1,1,1,1, 2,2,2,2,2,2, 3,3,3,3, 4,4, 5, 6,6, 7,7,7,7,7,7,7,7,7])
def readImage(x):
x = cv2.imread(x
浏览 11提问于2021-02-04得票数 0
回答已采纳
1回答
如何在TensorFlow中切片数据集？
python、tensorflow、slice
我要在tf.data中切片数据集。我的数据如下：
dataset = tf.data.Dataset.from_tensor_slices([[0, 1, 2, 3, 4],
[1, 2, 3, 4, 5],
[2, 3, 4, 5, 6],
[3, 4, 5, 6, 7],
浏览 0提问于2020-08-15得票数 3
2回答
从tf.while_loop中的数据集中获取下一个张量
tensorflow、tensorflow-datasets
我想迭代数据集，直到满足一定的条件，但我不知道如何“迭代”。下面是我的代码。
import tensorflow as tf
c = tf.constant([1,2,6])
d = tf.data.Dataset.from_tensor_slices((c,))
t = d.make_one_shot_iterator().get_next()
def condition(t):
return t < 5
def body(t):
# I don't know what to do here to return the next t
return [t]
t
浏览 2提问于2018-05-04得票数 1
3回答
如何在不使用废弃函数的情况下遍历tf.dataset？
python、tensorflow
我使用的是tensorflow 1.14，数据集有问题。 我的代码： my_data = [
[0, 1],
[2, 3],
[4, 5],
[6, 7]
]
slices = tf.data.Dataset.from_tensor_slices(my_data) # get dataset
it = slices.make_one_shot_iterator() # get iterator from dataset (deprecated)
next_item = it.get_next() 它说make_one_shot_iterator已被弃用..
浏览 9提问于2019-07-03得票数 4
回答已采纳
1回答
如何在tensorflow数据集api中添加随机操作？
tensorflow、deep-learning
我想在py_func操作中生成随机数据，但是当我运行这段代码时，我得到了不同的随机数据，这些数据在这段代码中是相同的。
我认为问题出在tf.data.Dataset.map应用程序接口上。当我得到d5的值时，它将运行两次random函数，在本例中，d3和d4将获得不同的值。
谢谢。
import tensorflow as tf
import numpy as np
def random(x):
def random_(x):
x = np.float32(np.random.rand())
print("run random_")
浏览 0提问于2019-12-23得票数 1
1回答
对于整个数据集或对iterator.next()的每次调用，Tensorflow dataset数据预处理一次？
python、tensorflow、tensorflow-datasets
嗨，我正在研究tensorflow中的dataset API，我有一个关于执行数据预处理的dataset.map()函数的问题。
file_name = ["image1.jpg", "image2.jpg", ......]
im_dataset = tf.data.Dataset.from_tensor_slices(file_names)
im_dataset = im_dataset.map(lambda image:tuple(tf.py_func(image_parser(), [image], [tf.float32, tf.float32, tf
浏览 0提问于2018-02-11得票数 9
1回答
如何在Tensorflow 2和嵌套列表中使用dataset.map()方法？
python、tensorflow、neural-network、tensorflow2.0
我正在尝试使用TensorFlow2在图像字幕的上下文中将tf.data.Dataset.map方法应用于我的数据集。 运行以下代码 def map_func(img_name, cap_train, target):
img_tensor = np.load(img_name+'.npy')
return img_tensor, cap_train, target
train = [
[
'image_1.jpg',
[[0,1,2], [1,2,3], [2,3,4]],
[[3], [4], [5]]
],
浏览 53提问于2020-01-06得票数 0
1回答
Tensorflow如何生成不平衡的组合数据集
python、tensorflow
我有一个关于新的dataset API (TensorFlow1.4)的问题。我有两个数据集，我需要创建一个组合的不平衡数据集，即每个批次应该包含来自第一个数据集的特定数量的元素和来自第二个数据集的特定数量的元素。例如,
dataset1 = tf.data.Dataset.from_tensor_slices(tf.constant([1,1,1,1,1,1]
dataset1 = tf.data.Dataset.from_tensor_slices(tf.constant([2,2,2,2,2,2]))
假设批处理大小为4，我希望组合数据集中的批处理看起来像1,1,1,2。我知道如何使用z
浏览 11提问于2018-01-16得票数 4
1回答
Tensorflow 2.3，Tensorflow dataset，TypeError：<lambda>()采用一个位置参数，但给出了4个
python、tensorflow、deep-learning、tensorflow2.0、tensorflow-datasets
我使用tf.data.TextLineDataset读取4个大文件，并使用tf.data.Dataset.zip压缩这4个文件并创建"dataset“。但是，我不能将"dataset“传递给dataset.map使用tf.compat.v1.string_split并使用\t分隔符进行拆分，最后使用批处理、预取并最终输入到我的模型中。
这是我的密码：
d1 = tf.data.TextLineDataset("File1.raw")
d2 = tf.data.TextLineDataset("File2.raw")
d3 = tf.data.Te
浏览 2提问于2020-11-29得票数 0
回答已采纳
1回答
估计器输入函数随机噪声处理
python、tensorflow、dataset
使用Tensorflow 1.9中的自定义估计器。我的估计器训练input_function遵循典型的模式，但我希望确保我正在做我认为我正在做的事情。我有这个函数，我想要应用到每个数据集示例中。
def add_noise(data, label):
tile = data['tile']
sigma_noise = tf.pow(10.0, -SNR/20.0)
noise = tf.random_normal(shape=tf.shape(tile), mean=0.0, stddev=sigma_noise, dtype=tf.float32)
浏览 0提问于2018-08-10得票数 0
1回答
如何使用tf.data.Dataset.apply()重新构造数据集
python、tensorflow、tensorflow-datasets
我正在使用tensorflow中的时间序列模型。我的数据集包含物理信号。我需要将这些信号划分为窗口，将这些切片的窗口作为我的模型的输入。
下面是我读取数据并将其切片的方式：
import tensorflow as tf
import numpy as np
def _ds_slicer(data):
win_len = 768
return {"mix":(tf.stack(tf.split(data["mix"],win_len))),
"pure":(tf.stack(tf.split(data[&#
浏览 1提问于2018-01-24得票数 10
回答已采纳
1回答
通过map方法改变类型
python、tensorflow、tensorflow-datasets
我很难理解Tensorflow中关于Dataset的Dataset方法的详细信息，如所描述的。例句
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
dataset = dataset.map(lambda x: x + 2)
list(dataset.as_numpy_iterator())
工作正常，但通过将map应用为
dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
dataset = dataset.map(lambda x: x / 10.0)
list(da
浏览 12提问于2022-01-05得票数 0
回答已采纳
1回答
来自大型numpy阵列的tf.data管道用于多输入、多输出Keras模型和分布式训练
python、numpy、tensorflow、keras
这个问题涉及到多输入多输出Keras (Tensorflow)模型的最佳设置，给出了相应的numpy阵列。
例如，假设输入数组x1和x2以及输出数组y1和y2。可以按以下方式构建tf.data数据集：
train_data = tf.data.Dataset.zip(
(
tf.data.Dataset.from_tensor_slices(
(
x1,
x2,
)
),
tf.data.Dataset.from_tensor_
浏览 9提问于2022-04-28得票数 0
1回答
tf.data.Dataset: Map拆分字符串失败
python、tensorflow、tensorflow-datasets
我已经创建了一个tf.data.Dataset，如下所示：
dataset = tf.data.Dataset.from_tensor_slices(({"reviews": x_train}, y_train))
我只想在空格上拆分评论(字符串)。当我这样做的时候：
dataset = dataset.map(lambda string: tf.string_split([string]))
Python抱怨道，告诉我：
TypeError: <lambda>() takes exactly 1 argument (2 given)
我看过文档，不清楚为什么Pyt
浏览 51提问于2018-10-24得票数 1
1回答
Tensorflow: NotImplementedError:还原()转换目前不支持嵌套数据集作为输入
python、tensorflow、tensorflow-datasets
在Tensorflow 1.12中，介绍了tf.data.Dataset.reduce()和tf.data.Dataset.window()方法。
在发布说明中：
“新的tf.data.Dataset.reduce() API允许用户使用用户提供的减少函数将有限的数据集简化为单个元素。”
新的tf.data.Dataset.window() API允许用户创建有限的输入数据集窗口；当与tf.data.Dataset.reduce() API相结合时，用户可以实现定制的批处理。
然而，如何使用这些功能呢？
def reduce_func(old_state, input_elem
浏览 0提问于2018-10-24得票数 2
1回答
从of记录数据集生成条带切片数据集。
python、tensorflow、tensorflow-datasets
从问题和讨论开始--我试图使用Dataset API来获取可变长度张量的数据集，并将它们切割成等长的片(段)。类似于：
Dataset = tf.contrib.data.Dataset
segment_len = 6
batch_size = 16
with tf.Graph().as_default() as g:
# get the tfrecords dataset
dataset = tf.contrib.data.TFRecordDataset(filenames).map(
partial(record_type.parse_single_exa
浏览 2提问于2017-10-06得票数 0
回答已采纳
1回答
不同形状向量的Tensorflow数据集
tensorflow、vector、dataset、shapes、tensor
我正在尝试从不同长度的向量(数据列)中创建一个数据集。我目前正在使用以下代码：
import tensorflow as tf
data = [[1,2,3,4,5,6],[7,8,9,10]]
shapes = [[3,2],[2,2]]
classes = [0,1]
dataset = tf.data.Dataset.from_tensor_slices(
{"data": tf.constant(data),
"shape": tf.constant(shapes),
"class": tf.constant(cl
浏览 0提问于2018-04-10得票数 0
回答已采纳
2回答
tf.data.Dataset是否支持生成字典结构？
tensorflow、tensorflow-datasets、tensorflow-estimator
以下是中的一段代码。在本例中，map函数是用于读取数据的用户定义函数。在map函数中，我们需要将输出类型设置为[tf.uint8, label.dtype]。
import cv2
# Use a custom OpenCV function to read the image, instead of the standard
# TensorFlow `tf.read_file()` operation.
def _read_py_function(filename, label):
image_decoded = cv2.imread(image_string, cv2.IMREAD
浏览 16提问于2018-01-18得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
