批量随机选择文件“验证”

文章/答案/技术大牛

发布

1回答

windows、loops、batch-file、cmd

因此，由于严格的系统限制，我必须批量完成这项任务。它的原理是，它“随机”地从一个文件夹中选择文件，并将它们复制到另一个文件夹。问题是，有时“随机性”选择相同的文件，因此在所需的10个文件中，我最终得到8-9个。我试着做一个“验证”系统，但我似乎不能让它在循环中工作，所以它只做了一次，仍然有可能选择相同的文件。我有一种感觉，这个解决方案真的很简单，我只是看不出它有

浏览 20提问于2017-03-14得票数 1

回答已采纳

2回答

可能是一个关于最小批量处理的ANN 101问题。谷歌似乎没有答案。在这里搜索也没有找到任何东西。我猜有一本书是这样说的：“这样做！”我只是还没读过那本书。我正在尝试添加小批量更新，而不是完整批量更新。是否有必要为每个时期选择一次每个观察值？小批量将是数据值1:10、11:20、21:30等，以便使用所有观察值，并且它们都使用一次。或者基于概率从训练数据集中随机选择小批量是正确的吗？其结果是，在任何给定的时期中，每个观察值都可能被使用一次、多次或根本不使

浏览 0提问于2012-12-04得票数 7

回答已采纳

1回答

java中的快速随机文件访问

java、file-io、io、indexing、b-plus-tree

我在一个数据文件上构建了一个类似于非聚集B+树索引的数据结构(在字段K上)，文件偏移量作为我的叶节点值。现在，对于任何查找，我需要从文件上的一个随机点读取。据我所知，Java上的大多数I/O方法都针对批量查找进行了优化。但是，因为我已经在另一个字段上有了聚集索引，所以不能选择对K进行排序。Java中是否有任何选项可以从随机偏移量优化文件的批量读取？

浏览 2提问于2014-03-29得票数 1

1回答

列车损失与验证损失

machine-learning、cross-validation、training、loss-function、mini-batch-gradient-descent

如果我正在使用小型批处理培训，是在每次批处理更新之后还是在我看到整个数据集之后验证？停止训练以防止过度训练的条件是什么？你在那个时候保存模型了吗？如果我使用小批量训练损失波动很大，取决于随机选择的训练数据，有时验证损失小于训练损失。这是正常的吗？我想我对这一点的困惑将在第一章中得到解答。

浏览 0提问于2018-04-26得票数 5

2回答

批量选择随机文本文件

batch-file

是否可以使批处理文件从指定的文件夹中选择完全随机的文本文件？这里的目标是让该批处理文件检查文件夹，然后选择一个随机文件并将选择的文件输出到一个变量中。

浏览 5提问于2016-09-17得票数 0

回答已采纳

1回答

Dynamics 2011一次性批量更新随机值的测试记录

random、dynamics-crm-2011、dynamics-crm、odata、linqpad

我们需要该领域每个记录中的随机值。实现这一目标的支持方法是什么？我想过的选择是在添加由=RAND()填充的随机值colum后，使用excel导入批量更新。不确定这是否会更新现有记录。

浏览 3提问于2013-07-12得票数 0

回答已采纳

3回答

如何从一个pickle文件中一次加载一行？

python、numpy、pickle

我已经将其保存为pickle文件。我希望一次只读取其中的几行(比如100行)，而不是将这个巨大的数据集读取到内存中，作为一个小批量使用。如何从一个pickle文件中只读取几个随机选择的(没有替换的)行？

浏览 2提问于2016-06-22得票数 9

回答已采纳

1回答

神经网络训练的模型根据验证数据产生不一致的结果

javascript、machine-learning、neural-network

当我在验证数据集上测试模型时，我得到了一些结果。如果我针对相同的验证集多次重新测试它，我总是得到不同的结果。这是故意的行为，还是我可能做错了什么？

浏览 13提问于2017-07-20得票数 0

回答已采纳

1回答

在培训期间更改批次大小

gradient-descent、bayesian、mini-batch-gradient-descent、sgd

从某种意义上说，批次大小的选择是随机性的度量：似乎一种明智的策略是从较小的批量开始，在初始阶段进行大量的探索，然后逐步增加批量大小，对模型进行微调。或者用Dropout选择适当的学习速率调度器就足够好了吗？

浏览 0提问于2021-01-29得票数 6

回答已采纳

2回答

随机磁道的iPhone MPMediaQuery

iphone

我正在编写一个iPhone应用程序，我希望通过MPMediaQuery获取批量的10-20个随机曲目，因为对所有曲目执行查询并从该查询中选择随机曲目会导致启动时出现不合理的延迟。如果不可能查询几个随机的曲目，有没有一个聪明的解决办法？谢谢!

浏览 0提问于2009-11-20得票数 1

回答已采纳

1回答

防止predict_generator混洗批次

python、tensorflow、keras

我正在尝试检查我的模型在验证数据集上的性能。因此，我使用predict_generator从我的validation_generator返回预测结果。predictions = model.predict_generator(validation_generator, steps=validation_steps_per_epoch) 我意识到我的验证数据大小

浏览 2提问于2018-10-25得票数 1

2回答

随机梯度下降中的随机部分是什么？

neural-network、optimization、gradient-descent

根据我的理解，一个随机过程，其值在某一时刻取决于先前采取的值，而且每次运行该过程时，所选择的路径可能是不同的。在一定的初始播种值之后，我们只能知道这个过程的限制和限制。利用随机梯度下降法对神经网络的权值进行更新。它的随机部分是什么？在对变量进行某些初始化之后，如果在每次测试初始化后提供相同的输入数据集，则累积的错误函数将是相同的。为什么这个词是随机的？随机性的范围在哪里，这种随机性的来源是什么？

浏览 0提问于2017-09-28得票数 3

2回答

Sklearn在线预测，批量vs逐一

python、scikit-learn

正如许多地方指出的那样，对于大小为10000的输入数据，批量预测整个数据比逐行预测要快得多(在两种情况下，都是model.n_jobs=1)。另一种解决方案是使用scikit-learn仅用于训练/验证，并开发一个项目来加载模型文件并优化逐个预测。问题是预测项目需要知道每种模型的细节(我们可以使用随机森林，LR等)。那么我的问题是，有什么解决方案可以减少sklearn的逐个预测开销吗？

浏览 0提问于2018-10-23得票数 5

1回答

如何登录BB10的bar文件(android版)

android、blackberry-eclipse-plugin、blackberry-10、blackberry-android

您好，我已经尝试登录的酒吧文件，我已经做了以下阶段我有经过认证的应用程序它将如下所示现在您可以看到生成的bar文件没有任何错误，如下所示但是，当我压缩这个bar文件并尝试上传到blackberry应用程序世界时，我得到的错误是这样的有没

浏览 1提问于2013-01-03得票数 1

回答已采纳

1回答

如果哈希函数没有已知的预图像攻击，这是否意味着没有针对签名使用它的已知攻击？

hash、preimage-resistance

假设像SHA-1这样的哈希函数有已知的碰撞攻击(包括选择的前缀冲突攻击)，但没有已知的预图像攻击。在获取哈希之前，我先对数据进行盐化，然后与散列一起签名盐分(因此，如果攻击者尝试“选择前缀冲突攻击”，其中他们有一个‘好’文档和一个‘邪恶’文档，具有相同的SHA-1哈希值，并且他们希望我签署‘好’文档

浏览 0提问于2021-01-20得票数 1

1回答

在训练神经网络时，是否应该一次性将所有训练数据传递给网络？

machine-learning、neural-network、training-data

或者甚至在1-80之间选择一个数字。在我的网络搜索中，我找到了一些叫做在线和批量训练的东西，我有一种感觉，它与此有关，但不是完全确定。选择一种方法比选择另一种方法有优势吗？

浏览 14提问于2017-02-03得票数 1

1回答

Spring应用程序JPA和JDBC

java、spring、jdbc、spring-data-jpa

我们的操作主要是批量插入和批量读取，很少是单一插入/读取。我用JPA和JDBC检查了一个原型，发现它们都有自己的优点和局限性。考虑到目前的用例，对于一个事实，我将始终只有批量读取和批量写入，哪一个将是更好的选择？此外，这里也不考虑验证，因为有效负载已经在上面的层中进行了验证，而数据库层应该只执行读/写操作。 JPA save(Collection<>)方法是反过来使用jdbc模板，还是完全不同的实现？

浏览 5提问于2016-11-29得票数 1

3回答

批内随机负抽样

machine-learning、deep-learning、recommender-system

我正在尝试使用批量随机负抽样来训练推荐模型，如下文所述：https://arxiv.org/pdf/2102.06156.pdf。我在思考作者的方法时遇到了一些困难。特别是，这句话“我们选择了每个正面项目的3000张底片样本，并使用600作为我们的批次大小”。这是否意味着在每一批中，有600个随机选择的阳性例子，每个阳性有3000个负数？或者更确切地说，有600对负数和正数，其中的正数是从3000个可能的负数中随机选取的一个单独的例子。

浏览 0提问于2023-03-06得票数 1

1回答