我有一个包含这些特性的TFrecord文件 features = { 'video_iditerator = dataset.make_one_shot_iterator()
return iterator.get_next() 我感兴趣的一件事是通过向下采样到16000 to来预处理音频数据
浏览 10提问于2019-09-26得票数 0
回答已采纳
给定一个TFRecord文件和tf.contrib.data.TFRecordDataset对象，我通过对protobuf定义的map创建一个新的数据集。filename)x = x.cache(cache_filename)x = x.batch(batch_size)
这使我可以读取数据并进行一些预处理，然后缓存结果并对模型进行批处理。我的问题是，如果我想跳过一
浏览 4提问于2017-09-16得票数 3
回答已采纳
我正在构建一个与tf.slim一起使用的模型，该模型将针对AVA数据集运行--对于大约256K的JPG图像，大小为32 to。在全分辨率图像的基础上，我创建了20个分片的TFRecord文件用于训练，每个文件的大小都是1.54 GB。在训练期间，我的预处理步骤将在提取随机的(224,224,3)裁剪之前将每个图像调整为(256,256,3)。如果我在创建TFRecord文件之前调整JPG图像的大小，
浏览 6提问于2018-01-10得票数 1
1回答
现在我有了一个对象分类任务，并且我有一个包含大量视频的数据集。在每个视频中，一些帧(不是每一帧，大约16万帧)都有它的标签，因为一个帧可能有多个对象。
我对创建数据集有些困惑。我的想法是首先将视频转换为帧，然后将每一帧只有标签的帧转换为tfrecord或hdf5格式。最后，我将使用for my task将每个帧的路径写入csv文件(训练和验证)。我的问题是: 1.是否有足够的效率(tfrecord或hdf5)？在创建tfrecord或hdf5文件<em
浏览 18提问于2019-03-26得票数 2
回答已采纳
我已经阅读了TF页面和一些帖子，并了解了如何使用prefetch()和cache()来加速模型输入管道，并尝试在我的数据上实现它。Cache()和我预期的一样工作，即在第一个时期从dist中读取数据，在随后的所有时期中，它只是从内存中读取数据。但是我使用prefetch()有很多困难，我真的不知道什么时候和如何使用它。我的应用程序是这样的:我有一组大型TFRecord文件，每个文件都包含一些原始记录，以便在输入网络之前进行处理。(x)
浏览 56提问于2020-09-08得票数 3
1回答
要部署的最终模型的预处理
、、、、
通常，对于ML工作流，我们导入数据(X和y)，将X和y划分为train、valid和test，对train、valid和test的数据进行预处理(缩放、编码、计算nan值等)，执行HP调优，在得到最佳HP模型后，将最终模型拟合到整个数据集(即X和y)。现在的问题是，X和y不是预处理的，因为只有train、valid和test是预处理的。因此，当在X和y上拟合最终模型时，我们将得到一
浏览 0提问于2021-11-29得票数 1
回答已采纳
我正在使用NER-like序列在tensorflow中进行标记，并决定尝试tf.data，看看我的模型是否能够提高IO性能。目前，我正在使用TFRecordWriter对训练/验证数据进行预处理和保存，这是一个序列化为string的tf.train.SequenceExample()。然后我用tf.data.TFRecordDataset加载它，解析/洗牌/填充_批处理它，然后继续进行培训，这很好。问题是
是否有一种不
浏览 0提问于2018-05-10得票数 0
回答已采纳
1回答
我正在测试Seldon Core，并且在我的服务模型MyModel(object)中启动并运行了一个仅具有predict函数的示例模型。现在，我添加了transform_input函数，以便在将输入发送到类之前对输入数据进行预处理。我再一次部署了这个模型，它似乎工作得很好，但我发现transform_input不工作或没有使用它。
浏览 4提问于2019-05-22得票数 0
我有一个时间序列数据集，在使用RNN进行训练之前，我希望对其进行规范化。我扫描数据并创建一个tfrecord文件。然后，培训使用此tfrecord文件。我的问题是，在培训期间，如何决定是将数据规范化并使用规范化数据创建tfrecord文件，还是使用原始数据创建tfrecord，并在培训期间将数据规范化，因为这些
浏览 1提问于2018-04-16得票数 0
回答已采纳
1回答
我的问题是：对数据进行预处理。现在我想用真实的数据来测试我的网络，它应该在一个很长的一维信号中检测异常。这个想法是，网络应该在某种程度上对信号进行“迭代”，并检测其中的故障。提前感谢！
浏览 3提问于2020-02-05得票数 0
我正在尝试在TensorFlow 2.2中安装一个模型。我写了一个自定义的训练循环。然而，当GPU耗尽内存时，训练就会崩溃。当使用model.fit() API时，模型在相同的参数下工作得很好，但是我想使用自定义的训练循环，因为它为我的需求提供了更多的灵活性。
调试这些内存问题的一般方法是什么？更新1正在使用的代码在上，输入数据来自UCF-数据集，它已经预处理成jpegs，并存储在TFRecord中的段中。为了再现这个问题，您可以通过
浏览 0提问于2020-06-21得票数 1
我使用TensorFlow 1.12和eager，该函数使用EagerTensor.numpy()对我的数据集中的张量进行NumPy ndarray解释。是否可以对数据集进行for循环并修改其中的示例？简单地给它们赋值似乎行不通。
浏览 38提问于2019-05-20得票数 1
回答已采纳
目前，我在笔记本电脑上对一些数据进行预处理，然后将其传递给ML引擎进行培训。是否可以将自定义的预处理功能应用于我的数据，然后在ML引擎中进行训练？因此，与这些步骤不同的是：
浏览 4提问于2018-09-24得票数 0
我知道如何使用numpy数组为训练数据提供数据到多输出Keras模型。但是，我的所有数据都在一个TFRecords文件中，其中包含几个特性列:图像，用作Keras模型的输入，以及对应于不同分类任务的一系列输出:例如。输出编码图像中人的年龄，另一个输出编码体裁，等等。根据我在例子中看到的，当模型的输出是由不同的头组成时，模型应该有多个数据源，一个用于输入，另一个用于每个输出。
当数据都在一个TFRecords中时，是否
浏览 0提问于2019-11-05得票数 1
回答已采纳
我正在尝试将自定义模型(XGBoost)导入到顶点AI中的模型注册表。我有BigQuery中的数据，但是在将数据传递到模型之前，我需要做一些预处理。如何导入模型，以便当我从BigQuery中的数据部署或进行批处理预测时，它将在进行预测之前进行预处理？
我看到Model将在目标文件夹(例如.pkl)中搜索具有特定扩展名的模
浏览 8提问于2022-11-29得票数 0
1回答
我正在训练一个带有信号数据的Tensorflow分类器模型(将信号转换成光谱图)。此外，。📷在不同到达时间使用相同信号训练模型我想避免第一，因为这将意味着我必须产生大量的信号数据，这将减缓训练。对于这个问
浏览 0提问于2021-01-27得票数 1
回答已采纳
我创建了ML模型，我想在Azure上部署它。在步骤中，我首先对数据进行预处理，比如对类别的OHE和使用StandardScaler()实现数字数据的标准化，然后对模型进行培训。我想使用非标准的数据来使用这个模型，并且我希望标准化是azure请求的一部分。这是可能的，还是我必须标准化的数据之前，发送数据到predicion天青？我能否以某种方式部署
浏览 7提问于2022-06-16得票数 -1
我有许多tensorflow模型，它们利用第三方库(即Gensim)在训练和评估之前对数据进行预处理。当查询模型进行预测时，也需要进行同样的预处理。如果使用tensorflow-serving或托管的Google ML解决方案，我是否可以将第三方库和自定义预处理步骤与模型捆绑在一起，并让这两个服务解决方案中的任何一个运行它？或者，如果我想使用第三方库，我必须在客户端预处理<
浏览 14提问于2018-02-13得票数 2
在中，探索了serving_input_receiver_fn的用途和结构，并在中探讨了 """For the sake of the因此，模型必须接受形式{“特征”：张量}的特征块。如果您希望张量按原样传递，您可以使用TensorServingInputReceiver。receiver_tensors：-- Tensor、SparseTensor或dict字符串到Tensor或SparseTensor，指定输入节点，在默认情况下，该接收器
浏览 0提问于2018-11-21得票数 20
1回答
我有一个非常困难的分类，不同的数据准备方法分为3类预处理，数据工程，功能工程。预处理通常被描述为“清理数据”。在这个职位中，前处理分为数据工程和特征工程。这里的数据工程实际上只是将数据放入某种模型可识别的形式，而功能工程则是其他一切(即特性缩放)。
浏览 0提问于2023-01-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
