腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
tensorflow
dataset
API
以
不同
方式
复制
每个
元素
?
python
、
tensorflow
、
tensorflow-datasets
我创建了一个
tensorflow
数据集train_image,其中包含10个A类图像和20个B类图像。现在,我
如何
分别
复制
每个
类?我希望train_image包含100个A类图像(
每个
A类图像重复10个)和100个B类图像(
每个
B类图像重复5个)。
浏览 23
提问于2019-10-03
得票数 0
1
回答
Tensorflow
数据集重塑图像
python
、
tensorflow
我想
使用
tensorflow
dataset
构建一个数据管道。因为
每个
数据都有
不同
的形状,所以我无法构建一个数据管道。import
tensorflow
_datasets as tfds
dataset
_builder.download_and_prepare()
浏览 1
提问于2019-08-26
得票数 6
回答已采纳
3
回答
如何
在
tensorflow
DataSet
的每次迭代中添加随机性?
python
、
tensorflow
、
dataset
我
使用
的是Estimator
API
。我希望通过
DataSet
在每次迭代中动态处理
每个
小批处理(或
每个
元素
)。例如,每当数据集中的
每个
元素
被批处理并输入到model_fn中时,我都会向其中的
每个
元素
添加随机噪声。
dataset
.map()似乎只被调用一次,并且通过
dataset
.repeat()的后续传递是静态的。这是我尝试过的: import
tensorflow</em
浏览 0
提问于2019-10-25
得票数 1
1
回答
具有
不同
形状的
Tensorflow
数据集
python
、
tensorflow
我
使用
卷积网络对
不同
形状的图像进行分类。我找不到在
Tensorflow
中加载图像的方法。基于,它应该与tf.data.
Dataset
()一起工作。我
以
这种
方式
创建数据集:
dataset
=
dataset
.map(read_file)
dataset
=
dataset
.
浏览 9
提问于2017-10-17
得票数 2
2
回答
如何
使用
tensorflow
dataset
API
复制
培训样本?
python
、
tensorflow
、
tensorflow-datasets
假设训练数据集是[1,2,3,4,5],我想重复
每个
样本几次。让我们假设数字为3,并且对所有样本都是相同的,那么
复制
后的结果是:[1,1,1,2,2,2,3,3,3,4,4,4,5,5,5]。但是官方的tf.data.
Dataset
.repeat函数给出的结果是[1,2,3,4,5,1,2,3,4,5,1,2,3,4,5],它不能满足我的需要。
如何
实现
复制
?如果
每个
示例的
复制
编号
不同
(例如,将
每个
样本
复制
为“加权”
浏览 6
提问于2022-07-26
得票数 2
1
回答
使用
许多压缩的numpy文件的
Tensorflow
数据集
python
、
numpy
、
tensorflow
、
dataset
、
data-handling
我有一个很大的数据集,我想
使用
在
Tensorflow
的培训。目前,我
使用
一个基于Keras序列的生成器对象来进行训练,但我希望完全
使用
没有Keras的
Tensorflow
。我正在查看TF网站上的
Dataset
API
,但我不太清楚
浏览 0
提问于2018-11-29
得票数 2
回答已采纳
1
回答
用tfx
tensorflow
变换连接数据集
apache-beam
、
tfx
、
tensorflow-transform
我正在尝试
复制
一些我在熊猫中做过的数据预处理到
tensorflow
变换中。我有几个CSV文件,我加入了这些文件,并与熊猫进行聚合,
以
生成一个培训数据集。现在,作为生产模型的一部分,我希望
使用
apache和
tensorflow
变换进行这种预处理。然而,我不太清楚
如何
在那里
复制
相同的数据操作。让我们来看看两个主要操作:JOIN
dataset
a和
dataset
b,
以
在
dataset
c上生成c和gr
浏览 4
提问于2022-03-25
得票数 0
回答已采纳
4
回答
tf.data.
Dataset
.map()和tf.data.
Dataset
.apply()之间的区别
python
、
tensorflow
、
tensorflow-datasets
随着最近对版本1.4的升级,
Tensorflow
在库核心中包括了tf.data。中描述的一个“主要新特性”是,它是一种“应用自定义转换函数的方法”。这与已经存在的有什么
不同
?
浏览 4
提问于2017-11-03
得票数 30
回答已采纳
1
回答
Tensorflow
: NotImplementedError:还原()转换目前不支持嵌套数据集作为输入
python
、
tensorflow
、
tensorflow-datasets
在
Tensorflow
1.12中,介绍了tf.data.
Dataset
.reduce()和tf.data.
Dataset
.window()方法。在发布说明中: 编辑:来自 这个函数是不可取的
浏览 0
提问于2018-10-24
得票数 2
4
回答
如何
在tf.data.
Dataset
中输入
不同
大小的列表
python
、
tensorflow
、
tensorflow-datasets
我有一长串整数列表(表示
不同
大小的句子),我希望
使用
tf.data库提供这些整数列表。
每个
列表(列表中的列表)都有
不同
的长度,我得到一个错误,我可以在这里
复制
:
dataset
= tf.data.
Dataset
.from_tensor_slices编辑1:为了明确起见,我不想输入列表列表(这是一个包含100多万个
元素
的句子列表,长度
不同
),我想
使用
tf.data库
以
浏览 12
提问于2017-11-30
得票数 28
回答已采纳
1
回答
加载并准备一个新的数据集
python
、
tensorflow
、
sentiment-analysis
所以,我想知道
如何
:1-访问文件中的文本和标签,可能不
使用
熊猫。如果推荐熊猫,并且有一种简单的
方式
来访问这个文件并
使用
TensorFlow
传送到一个网络,我会接受答案的。 2-在测试集和训练集中拆分文件(实际上我已经找到了熊猫的解决方案)。3-对我的文本和标签进行矢量化
以
满足我的网络需求.如果您有完整的指南,说明
如何
做到这一点,那就好了,它只需要
使用
TensorFlow</em
浏览 1
提问于2020-08-26
得票数 0
回答已采纳
1
回答
在
使用
`validation_steps`时,
使用
新采样的验证示例和
TensorFlow
Keras fit吗?
python
、
tensorflow
、
keras
然而,这两个参数之间的主要区别(除了用于训练或验证之外)在于它们
如何
从数据集中采样。对于训练,steps_per_epoch将在
每个
时期
使用
下一个可用的样本,因此
每个
时期通过数据集进一步进行。之所以将validation_steps设置为
不同
的工作
方式
,是因为开发人员希望确保每次验证运行都
使用
相同的数据。在我的例子中,我宁愿这不是validation_steps的工作
方式
。是通过fit的某些设置,还是以某种
方式
包装数据集,以便当fit
浏览 0
提问于2020-04-02
得票数 0
1
回答
用浮点输入的馈电切片
TensorFlow
中的误差
python
、
tensorflow
、
casting
、
neural-network
、
tensorflow-datasets
num_epochs, epoch_loss))_, c = sess.run([optimizer, cost], feed_dict={x: epoch_x, y: epoch_y})
dataset
=
dataset
.map(parser) 例如,我在这里打印了一张图像及其标签tf.nn.dropout(fc, dropout_rate) out = tf
浏览 1
提问于2018-07-13
得票数 0
回答已采纳
1
回答
Tensorflow
如何
生成不平衡的组合数据集
python
、
tensorflow
我有一个关于新的
dataset
API
(
TensorFlow
1.4)的问题。我有两个数据集,我需要创建一个组合的不平衡数据集,即
每个
批次应该包含来自第一个数据集的特定数量的
元素
和来自第二个数据集的特定数量的
元素
。例如,
dataset
1 = tf.data.
Dataset
.
浏览 11
提问于2018-01-16
得票数 4
1
回答
如何
使用
Tensorflow
2.0数据集在训练时执行10个裁剪图像增强
python
、
tensorflow
、
tensorflow-datasets
、
tensorflow2.0
、
data-augmentation
我正在
使用
Tensorflow
Dataset
API
并从TFRecord文件中读取数据。我可以
使用
map函数,并
使用
random_flip_left_right、random_crop等方法进行数据增强。 然而,当我试图
复制
AlexNet论文时,我遇到了一个问题。我需要翻转
每个
图像,然后采取5个裁剪(左,上,下,右和中)。 因此,输入数据集大小将增加10倍。有没有办法
使用
tensorflow
dataset
浏览 24
提问于2019-08-30
得票数 3
2
回答
MNIST数据设置批处理
python-3.x
、
tensorflow
它表明在
TensorFlow
模型中没有“列车”属性。我知道这是过时的代码,我试着转换成新版本的
TensorFlow
。然而,我找不到一个匹配的代码,它可以做与上面这行代码相同的事情。我发现了一个让我
使用
tf.data.
Dataset
.batch(batch_size)的方法。我尝试了以下方法,但都不起作用。a. batch_x, batch_y = mnist.train.next_batch(50) b. batch_x, batch_y = tf.data.
Dataset
.batch(batch_s
浏览 24
提问于2019-04-09
得票数 1
回答已采纳
1
回答
在
tensorflow
中重新初始化迭代器后对数据集进行混洗
python
、
tensorflow
、
shuffle
、
tensorflow-datasets
我
使用
tensorflow
dataset
api
将数据提供给模型。据我所知,我应该对数据集进行混洗,
以
从模型中获得最佳性能。然而,由于我训练了一个时期,然后测试了一个时期,以此类推。我不太确定我是否在
以
不同
的
方式
执行洗牌。为了更好地说明,下面是我的代码: train_
dataset
= tf.data.TFRecordDataset(filename_train).map(_parse_function).filter((share
浏览 31
提问于2019-02-22
得票数 0
回答已采纳
1
回答
在增强训练期间,无法在Keras iterator.py中的断点处停止
python
、
keras
、
data-generation
因此,我可以通过浏览keras中的各种函数来收集,我编写的数据生成器填充了一个较低级别的
tensorflow
数据集,然后该数据集在
每个
时期进行迭代。我只是看不出
tensorflow
数据集是
如何
在
每个
时期得到扩充的。总之,我可以看到一些提示,
tensorflow
Dataset
.cache()方法可能在第一个时期之后将我的训练数据集存储在内存中。我能否
以
某种
方式
取消缓存()
以
强制重新读取和重新增强,或者是否有人可以告诉
浏览 26
提问于2021-02-11
得票数 0
1
回答
如何
向tf.data.
Dataset
对象添加新的功能列?
tensorflow
、
dataset
、
tensorflow-datasets
我正在
使用
Tensorflow
2.0的数据模块并
使用
tf.data.
Dataset
对象来存储我的特性,为专有数据构建一个输入管道。我已经开发了一些函数,可以访问所需的所有数据,并且能够在列上
使用
Dataset
的映射函数来获取数据,但我不知道
如何
向我的tf.data.
Dataset
对象中添加一个新列来保存新的数据。我有所有的方法将输入作为列中的
元素
,并执行获取
每个
元素
的特性所需的一切,我只是不明白<
浏览 5
提问于2019-08-07
得票数 6
1
回答
TensorFlow
:数据集的多线程非批处理
tensorflow
、
tensorflow-datasets
、
tensorflow2.0
我正在
使用
TensorFlow
2.0测试版。我有一个
TensorFlow
Dataset
,其中
每个
元素
都是一批特性列:张量的元组,
每个
元组都具有batch_size记录的特定特性的值。我需要将这些记录扁平化为TFRecords,我想
使用
TensorFlow
Dataset
函数进行序列化。扁平的记录不需要按确定的顺序产生。flat_map不接受张量元组--“接受两个位置参数,但给出了”num_features“
浏览 2
提问于2019-07-11
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深度学习系列教程(六)tf.data API 使用方法介绍
如何使用TensorFlow中的Dataset API
如何在TensorFlow中高效使用数据集
使用PaddleFluid和TensorFlow训练序列标注模型
TensorFlow 中层 API TFRecordDataset
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券