腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
tfrecord
但
获取
的
文件
太大
tensorflow
我正在尝试从numpy数组
的
文件
夹创建一个
tfrecord
,该
文件
夹包含大约2000个每个50mb
的
numpy
文件
。writer.write(serialized) 我想它可以转换大约200个
文件
,然后我得到了这个 Converting: tf.recordtraintensorflow.python.framework.errors_impl.OutOfRangeError:
浏览 74
提问于2019-06-03
得票数 0
1
回答
如何在GCP AI平台上
使用
TFRecord
文件
进行批量预测?
tensorflow
、
tfrecord
、
google-ai-platform
TL;DR谷歌云AI平台在进行批量预测时如何解压
TFRecord
文件
? 我已经在Google Cloud AI平台上部署了一个经过训练
的
Keras模型,但我在批量预测
的
文件
格式方面遇到了问题。为了进行训练,我
使用
tf.data.TFRecordDataset来读取
TFRecord
的
列表,如下所示,一切都很好。平台文档中写道:“gcloud工具批量支持JSON实例字符串
的
文本
文件
或者
TFRecord
<
浏览 0
提问于2020-09-18
得票数 0
1
回答
如何将多个数据集合并为一个数据集?
python
、
tensorflow
、
tfrecord
、
tf.keras
、
eager-execution
假设我有3个
tfrecord
文件
,分别是neg.
tfrecord
、pos1.
tfrecord
、pos2.
tfrecord
。我
使用
dataset = tf.data.TFRecordDataset(
tfrecord
_file) 这段代码创建了3个Dataset对象。我
的
批处理大小是400,其中包括200个pos2数据、100个pos1数据和100个neg数据。如何获得所需
的
数据集? 我将在keras.fit()中
使用
浏览 18
提问于2019-03-14
得票数 1
1
回答
如何将多个
tfrecord
数据集组合成一个数据集?
python
、
tensorflow
、
deep-learning
、
tfrecord
假设我有3个
tfrecord
文件
,即neg.
tfrecord
**,** pos1.
tfrecord
**,** pos2.
tfrecord
**.**我将在TFRecordDataset ()(急切执行)中
使用
这个keras.fit对象。 我
的
tensorflow版本是1.13.1。我在中找到了API,例如interleave、conc
浏览 0
提问于2019-03-18
得票数 2
回答已采纳
1
回答
有没有一种方法可以获得
TFRecord
文件
的
大小和其中一个示例
的
大小?
python-3.x
、
tensorflow
、
tfrecord
因为我想
获取
TFRecord
文件
中
的
示例数,所以我
使用
的当前方法是但它是缓慢
的
我
的
TFRecord
文件
中
的
所有示例都有完全相同
的
长度,所以我想知道是否有一种方法可以获得整个
TFRecord
文件
(xxx.
tfrecord</e
浏览 2
提问于2018-08-16
得票数 1
回答已采纳
1
回答
如何
获取
TFRecord
文件
中包含
的
条目总数?
python
、
tensorflow
我可以用tensorflow来写和读
TFrecord
文件
。如何快速
获取
TFRecord
文件
中包含
的
条目总数?有没有
获取
计数
的
API?
浏览 2
提问于2016-08-29
得票数 2
回答已采纳
6
回答
将.tfrecords
文件
拆分为多个.tfrecords
文件
python
、
tensorflow
、
tensorflow-datasets
、
tfrecord
是否有任何方法直接将.tfrecords
文件
拆分为多个.tfrecords
文件
,而无需回写每个Dataset示例?
浏览 0
提问于2019-02-04
得票数 13
回答已采纳
4
回答
用于图像识别的TensorFlow,图像大小
machine-learning
、
tensorflow
、
classification
、
image-recognition
图像
的
大小如何影响训练该任务
的
模型?如果这个
太大
,我应该如何调整大小?--我想尽可能地模拟真实世界
的
照片分辨率,以获得更高
的
精度。编辑: 我也会对图像
文件
使用
<e
浏览 1
提问于2017-07-17
得票数 2
回答已采纳
1
回答
我
的
.tfrecords
文件
怎么了?
python
、
tensorflow
今天,我用我
的
图像创建了一个.tfrecords
文件
。图像
的
宽度为2048,高度为1536。所有的图像几乎都是5.1GB,但是当我
使用
它来制作.tfrecords时,它几乎是137GB!更重要
的
是,当我
使用
它进行训练时,我会得到一个类似于CUDA_ERROR_OUT_OF_MEMORY
的
错误。我
使用
最小
的
batch_size,但它仍然是错误
的
。有人知道为什么吗?我
的
tfrecords
文件</
浏览 4
提问于2017-07-07
得票数 1
1
回答
一个
TFRecord
应该包含多个观测还是一个?
tensorflow
、
dataset
、
tfrecord
我在中看到一个
TFRecord
包含多个类和多个图像(一个cat和一个桥)。当它被写入时,两个图像都被写入到一个
TFRecord
中。在读回过程中,验证了这个
TFRecord
包含两个图像。在其他地方,我看到人们生成每个映像一个
TFRecord
,我知道您可以加载多个
TFRecord
文件
,如下所示:
但</e
浏览 3
提问于2020-04-15
得票数 0
回答已采纳
1
回答
解析用于创建eval.
tfrecord
的
文件
python
、
tensorflow
、
tfrecord
我正在尝试
获取
用于创建eval.
tfrecord
的
.jpg
文件
。 feature { key: "image/source_id&
浏览 11
提问于2019-07-11
得票数 1
2
回答
可以从Google对象创建TFRecordDataset吗?
python
、
tensorflow
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-datalab
我在上
的
木星笔记本上测试一个Tensorflow模型。该模型用于
使用
TFRecordDataset of
TFRecord
文件
作为输入,我认为这是组织模型输入
的
推荐方法。我想知道是否有一些支持
的
方法可以从TFRecordDataset列表中创建这个Google Cloud Storage Objects,这是由Google提供
的
一种在Google存储桶上访问数据
的
方法。编辑:我发现调用Storage Objects上
的
Storage
浏览 0
提问于2018-08-16
得票数 2
1
回答
当我有多个TFRecords时,如何
使用
slim.dataset_data_provider?
tensorflow
我正在
使用
slim.dataset_data_provider。例如, data_sources='datasets/my_data.
tfrecord
`,我发现这是非常传达
的
。然而,my_data.
tfrecord
现在已经在15 to左右了,我应该接收更多
的
数据。我不想重新创建一个巨大
的
TFRecord
文件
,而是希望保留几个TFRcord<e
浏览 4
提问于2017-06-28
得票数 0
回答已采纳
1
回答
TensorFlow: tf.Session.run()
获取
和执行依赖项
tensorflow
在计算图中,heightT和widthT张量- on都依赖于依赖于
tfrecord
_read_op
的
tfrecord
。因此,无论何时计算
tfrecord
,计算图依赖项都应该从file_queue调用另一个去队列。当在单独
的
heightT和widthT调用中计算tf.Session和run()时,情况确实如此。A一个旁白,如果num_epoch=None (即单个
文件
的
无限排队列)单独调用将成功(!?)而且,num_epochs=None是默认
的
。现在,
浏览 3
提问于2017-09-14
得票数 0
1
回答
`tf.data.Dataset`如何动态传递`tf.io.FixedLenFeature`
的
大小
python
、
tensorflow
、
tensorflow2.0
我们有
tfrecord
文件
,其中每个
tfrecord
文件
包含一个单独
的
示例,
但
其中
的
功能包含一个值列表。我们通过以下方式
使用
tf.data.Dataset: ) 我们不
使用
n_rows_per_record_file
的
固定常量,而是查找给定<
浏览 34
提问于2021-05-22
得票数 1
回答已采纳
1
回答
正在对tfrecords
文件
进行混洗
tensorflow
、
deep-learning
、
tensorflow-datasets
、
tfrecord
我有5个tfrecords
文件
,每个对象一个。在训练时,我希望从所有5个
tfrecord
中平等地读取数据,即如果我
的
批处理大小是50,我应该从第一个
tfrecord
文件
中获得10个样本,从第二个
tfrecord
文件
中获得10个样本,依此类推。目前,它只是从所有三个
文件
中顺序读取,即我从同一记录中获得50个样本。有没有办法从不同
的
tfrecords
文件
中采样?
浏览 5
提问于2018-02-09
得票数 5
回答已采纳
2
回答
如何
使用
火花将多个拼花
文件
转换为
TFrecord
文件
?
apache-spark
、
pyspark
、
pyspark-sql
、
parquet
、
tfrecord
我希望基于特定条件从大型
TFrecord
生成分层DataFrame
文件
,并为此
使用
write.partitionBy()。我也在
使用
tensorflow连接器,
但
这显然不能与write.partitionBy()操作一起工作。通过tensorflow-连接器插件读取这些拼花
文件
,将它们转换成
TFrecord
文件
。 这是我无法有效完成
的
第二步。我
的
想法是在执行器上读取单独
的
地板
文件</
浏览 1
提问于2019-01-22
得票数 4
2
回答
如何为tensorflow修复截断
的
to记录?
tensorflow
我创建了一个大型.tfrecords
文件
,没有看到任何错误。但是,在培训期间,当TfRecordReader到达.
tfrecord
文件
末尾
的
某个地方时,我看到了“截断记录在XXXX”
的
错误。如何快速检查.
tfrecord
文件
是否确实已损坏?如果是这样的话,我如何快速修复
文件
(可以丢弃最后几个键值对)?
浏览 0
提问于2016-10-22
得票数 6
回答已采纳
3
回答
使用
tensorflow输入PASCAL-VOC 2012训练数据和标签
的
好方法
python
、
tensorflow
、
deep-learning
我想用tensorflow来做
的
对象检测。有没有什么好方法可以写一个数据
文件
让tensorflow读取?或者只是在tensorflow中读取原始XML
文件
?下面是一个图片示例:
浏览 55
提问于2016-09-02
得票数 3
回答已采纳
1
回答
Tensorflow:内图还是外图
的
规范化?
tensorflow
、
normalization
我有一个时间序列数据集,在
使用
RNN进行训练之前,我希望对其进行规范化。我扫描数据并创建一个
tfrecord
文件
。然后,培训
使用
此
tfrecord
文件
。我
的
问题是,在培训期间,如何决定是将数据规范化并
使用
规范化数据创建
tfrecord
文件
,还是
使用
原始数据创建
tfrecord
,并在培训期间将数据规范化,因为这些数据是从
tfrecord
文件
读取<e
浏览 1
提问于2018-04-16
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
TensorFlow 中层 API TFRecordDataset
Tensorflow Object Detection API(2)—训练自己的数据集(上)
谷歌开源 TFRecorder,几行代码即可高效创建数据集
简化TensorFlow和Spark互操作性的问题:LinkedIn开源Spark-TFRecord
如何用神经网络“寻找威利”
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券