1回答
我试图在google中使用TPU，所以在做了一些numpy格式的预处理之后，我试图用train_setx = tf.data.Dataset.from_tensor_slices(trainx)转换成tensorflow格式。
浏览 3提问于2020-05-21得票数 2
回答已采纳
一种方法是定义占位符，然后通过我自己定义的图之外的函数读取我的数据，例如队列，并每次向占位符提供批处理。
另一种方法是使用Tensorflow中与记录器相关的内置类来直接读取数据作为张量。有没有人知道他们的优点和缺点，特别是关于效率？当你们使用tensorflow时，你们更喜欢哪一个？
浏览 1提问于2018-01-12得票数 1
回答已采纳
1回答
我来自PyTorch背景，但我需要使用TFRecordDataset来阅读TFRecord的内容。这导致每个GPU的每个工作人员都有4个TFRecordDataset (4个桶)，因此我最终在内存中得到了4*4*4= 64 TFRecordDataset。我有足够的CPU内存来完成这个任务，但问题是内存没有从TFRecordDataset中释放出来，因为在培训过程中内存不断增加。我认为问题在于，计算图一直在增长(每次读取新的TFRecord，为其创建新的TFRecord
浏览 8提问于2021-12-25得票数 1
回答已采纳
g, r = cv2.split(image) return rgb_image writer.write(example.SerializeToString())def disp_tfrecords(tfrecord_list_file):
filename_queue = tf.train.string_input_producer([
浏览 4提问于2017-07-07得票数 1
我正在分析我的java应用程序的内存使用情况，并将-verbose添加到jvm参数中。它打印了许多日志，很难读取所有日志。我正在寻找一种方法，以一种有用的和可读的方式格式化或获得输出。我想要获得内存分配，内存使用情况，空闲内存和jvm其他有用的信息，这些信息可以用来跟踪内存泄漏。我使用的是java 7
浏览 0提问于2015-08-06得票数 1
我们需要通过cron每分钟监视高负载服务的内存使用情况。但我们每一分钟都会遇到计时问题。在我们代码中唯一昂贵和可疑的操作是读取/proc/PID/smaps。还有其他更透明的方法来检测内存使用情况吗？
浏览 1提问于2017-02-02得票数 3
最好是从一个项目中获得一个用例，并解释每个用例的使用情况。提前谢谢。
浏览 4提问于2021-01-30得票数 1
回答已采纳
当我在tf2.x中使用tfrecord和keras时，它只读取第一批用于训练的数据，我如何读取剩余的tfrecord数据？def get_dataset(self, num_parallel=4,buffer_size=10000, dataset =
浏览 40提问于2020-07-01得票数 0
我必须做一个像那些‘在线评判’这样的工具，编译和执行c/cpp代码并返回一些结果，但也测量它是否超过了时间限制或内存限制。我找到了多个使用进程pid的linux命令，在启动可执行文件之后，我能够获得进程的PID，但是进程在那些读取内存使用情况的linux命令之前就完成了，因此它会抛出一个错误。是否有方法从给定的c/cpp文件启动可执行结果组，并使其在我告诉它之前不结束，以便有时间读取它的内存使用情况？
bash/cpp&#
浏览 10提问于2022-05-15得票数 1
TensorFlow对象检测API更喜欢TFRecord文件格式。MXNet和Amazon似乎使用RecordIO格式。这两种二进制文件格式有什么不同，还是它们是相同的？
浏览 0提问于2018-11-09得票数 4
回答已采纳
我正在尝试从Postgres数据库读取表中的Python。表有大约800万行和17列，DB中的大小为622 DB。现在，我们需要完成的任务需要自动调用，所以我想我可以直接从DB中使用pd.read_sql_table()读取表。)
the_frame = pd.read_sql_table(table_name='table_name', con=e
浏览 0提问于2016-12-21得票数 9
回答已采纳
我在google驱动器上有一个大约20 on大的数据集。我使用一个生成器将数据集引入到我的keras/TF模型中，加载文件的开销(对于每一批)是疯狂的。我试过这个：drive.mount('/content/drive')!cp $RAW_NOTEBOOKS_DIR $LOCAL_NOTEBOOKS_DIR
然而，这段代码运行完成后立即执行(因此它显然没有下载数据-这是cp命令的目的(从驱动器复制
浏览 0提问于2021-04-12得票数 0
现在我唯一能想到的就是将SparseTensor的索引(tf.int64)，值(tf.float32)和形状(tf.int64)保存在3个独立的特征中(前两个是VarLenFeature，最后一个是FixedLenFeature
浏览 3提问于2017-10-19得票数 4
corresponding image向量的示例内容如下：由于图像大小不同，需要对矢量进行大小调整和一些变换我参考了很多基本的教程，但大多数都不是关于安排定制数据输入和输出的细节。请给我一些建议！
浏览 5提问于2017-07-03得票数 0
1回答
我有几段代码可以编写这样的tfrecord文件recname = 'list.tfrecord'
f_wav = wave.open(filename
浏览 0提问于2019-10-20得票数 1
是否有任何方法直接将.tfrecords文件拆分为多个.tfrecords文件，而无需回写每个Dataset示例？
浏览 0提问于2019-02-04得票数 13
回答已采纳
我很难从TFRecord文件中读取“多”(超过500个)事件。如果我创建一个包含500个事件的文件，一切都很好，但是当我试图读取和解析该文件时，超过500个会导致错误： )(通常
浏览 6提问于2017-07-12得票数 0
回答已采纳
2回答
StaxEventItemReader和StaxEventItemWriter在从/写到xml文件时是如何消耗内存的？在将xml拆分成块之前，它是否将整个xml大小存储在内存中，并且在整个步骤中仍然使用相同数量的内存？还是根据块大小读取/写入文件片段，然后在处理下一个块之前释放内存使用情况？
浏览 4提问于2021-04-30得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
