我有一个包含以下文件的文件夹: train.idx、train.rec、property、lfw.bin、cfp_fp.bin、agedb_30.bin
此文件夹包含人脸图像。
我已经在下面的代码中使用了ImageRecordIter。
但是,每次我打印train_data的第一个元素时,我得到的图像都不同。
train_data = ImageRecordIter(
path_imgrec = os.path.join(rec_path,'train.rec'),
path_imgidx = os.path.join(rec_path, 'train.idx'),
label_width = 2,
data_shape = (3,112,112 ),
batch_size = 10,
shuffle = False)我的问题是:
1)我不知道数据通常是如何存储在这些类型的文件中的,例如,哪个文件包含标签。对这些类型的文件有什么想法吗?
2)如何提取数据子集生成示例文件?另外,文件格式是什么(例如,pickle文件、txt文件)?
发布于 2019-11-01 06:39:21
您只在ImageRecordIter中使用train.rec和train.idx,因此它们是唯一使用的文件。您的标签将存储在train.rec文件中(与数据一起)。您可以使用MXIndexedRecordIO从这些文件中提取随机样本。类似于:
samples = []
record = mx.recordio.MXIndexedRecordIO('tmp.idx', 'tmp.rec', 'r')
for i in range(5):
samples.append(record.read_idx(i))
record = mx.recordio.MXIndexedRecordIO('tmp.idx', 'tmp.rec', 'w')
for i, sample in enumerate(samples):
record.write_idx(i, sample)
record.close()https://stackoverflow.com/questions/58335050
复制相似问题