Estimator.train()和.predict()对于小数据集来说太慢了

文章/答案/技术大牛

发布

1回答

python、tensorflow-estimator

我正在尝试实现一个DQN，它在同一模型上多次调用Estimator.train()，然后调用Estimator.predict()，每个调用都有少量的示例。有没有办法在内存中保持相同的图形和参数，以便快速训练-预测迭代或以其他方式加速它？

浏览 62提问于2019-08-27得票数 0

1回答

卷积神经网络:影响精度的小数据集

python、deep-learning、keras、tensorflow、convolution

我有36个文件夹的数据集，1张图像(总共36张图像)，数据集太小，但是这些是我想训练的字符图像，我的val_acc= 0.0229和y_pred=model.predict(x_test)总是预测class对于如此小的数据集，我如何提高这一准确性？为什么它总是预测4级？

浏览 0提问于2018-02-26得票数 0

2回答

当内部有另一个循环时，列表项的迭代速度太慢

android、kotlin

我需要通过最终列表与这个条件:如果完整的列表活动在较小的列表中的项目之一，使此项目“==”太真，否则保留它为假。当使用完整列表>500个设备和小列表>50个设备时，我没有问题，但是当我有2000个设备时，一切都开始变得太慢(在Google Pixel 2XL上，我需要等待大约6秒才能完成工作)。if(it.id == device.id){ } } 但是对于更大的

浏览 18提问于2019-06-27得票数 0

回答已采纳

5回答

如何存储连续定位数据

android、android-sqlite、android-location

我已经创建了一个简单的应用程序，它每隔几秒钟使用GooglApiClient读取位置数据(纬度、经度、速度、高度)。我想记录的数据，以便我能够计算和显示:距离，平均速度，最小和最大高度，在地图上的跟踪等实时给用户。为此目的，哪种数据存储方法最好？我不想从您那里看到这个方法的实现，我只想知道哪种方法是最好的。我在考虑sqLite数据库，但是对于连续的读写操作来说，这是不是太慢了，也太耗精力了。

浏览 7提问于2015-03-08得票数 1

回答已采纳

1回答

Python学习KMeans在计算剪影得分时被杀死(9)

python、scikit-learn、k-means、sigkill

我目前正在处理一个图像数据集(25万个图像，因此与特征向量一样多，每个特征向量都由132个特性组成)，并试图使用sklearn提供的KMeans函数。我在MacOSX10.10、Python2.7和sklearn 0.15.2上运行它，过了一会儿我只获得了一个： nb_cls = int(raw_inputclusters chosen :"))clusters_labels =

浏览 0提问于2015-05-19得票数 4

回答已采纳

3回答

算法比嵌套循环更快？

algorithm、loops、big-o

对于google codeJam的资格认证来说，问题之一是找出在两个给定整数之间有多少“回收对”。我认为我的解决方案是O(2^n) (我还没有完全掌握大O分析)，这太可怕了。注意，n和m必须有相同的数字数才能成为可回收的对。N和m都不能有前导零。

浏览 3提问于2012-04-15得票数 1

回答已采纳

1回答

从TreeBagger类中删除字段以节省内存

matlab

我正在使用Treebagger()在一个相当大的数据集上使用Matlab训练一个随机森林。内存是一个问题，我看到返回的Treebagger类包含了许多我认为对于predict()另一个数据集来说不需要的数据。例如，这个类包含整个训练数据(字段X和Y)，它们使用了大量的内存。

浏览 2提问于2017-05-16得票数 1

回答已采纳

1回答

Python:如何在RandomForest中解释和改进predict_proba()

python、machine-learning、scikit-learn、random-forest

因此，我使用sci-kit learns RandomForestClassifier将天文数据分类为三类。为了让我的问题更直接，我在测试集中只使用了两个来源，并通过以下方式获得了predict_prob()分数：probab(a)如何判断哪个predict_prob()分数对应于错误的预测？(b) predict_prob()具体描述了什么？模型的分类被认为是正确的可能性有多大，还是其他什么？我的数据

浏览 1提问于2020-01-29得票数 0

2回答

在redis中，排序集合中的元素数量是否有实际限制？

redis

我目前正在将一些数据迁移到Redis，我正在考虑使用排序集来存储大约1.4e6个项目(以及相关的分数/计数)。集合中的项目数量是否可能超过实际限制，从而使使用集合变得太痛苦？我计划运行64位redis，所以数据的可用内存应该不是问题。有人使用过这种大小的排序集吗？如果是，那么集合的插入和查询时间是多少？

浏览 1提问于2011-05-21得票数 26

回答已采纳

1回答

在WebRTC中启动拓扑

webrtc

我有两种选择:星型拓扑和网状拓扑。在我看来，网状拓扑是最容易实现的，但是对于一个房间里的许多用户来说，它可能太慢了。我更喜欢星型拓扑。我正在寻找能够帮助我实现代理服务器在用户之间传输数据的库/框架。我发现了licode，但在我看来是高级框架，因为我为我的工程论文创建了这个应用程序，它不可能太容易……

浏览 1提问于2015-10-16得票数 0

1回答

并行预测与cforest/随机森林预测(使用doSNOW)

r、foreach、parallel-processing、random-forest、party

我正在尝试通过将测试数据集(n=35000)拆分并让R在较小的块上运行来加快预测速度。模型是用party::cforest生成的。我的预测函数对于predict(fit,newdata=a[1:100,])和foreach(i=1:10) %do% {predict(fit,newdata=a[1:10,])}都需要大约7秒。或者并行化本身以某种方式减慢了R的速度？使用另一个函数(按照建议的重复计算sqrt(3) )的测试运行已经显示出显著的改进，因此%dopar%也

浏览 0提问于2013-02-08得票数 2

回答已采纳

1回答

在选择最佳参数时考虑精度或标准差的混淆

python、classification、scikit-learn、grid-search

我拥有的数据集的大小并不大(大约500个文档)。例如。

浏览 0提问于2019-09-21得票数 2

回答已采纳

1回答

当同步两个文件夹时，gsutil rsync如何确定文件是旧的还是新的？

google-compute-engine

现在，我正在使用MD5校验和来100%确定，但是对于一个拥有大量文件的8TB数据集来说，这太慢了。如果我禁用了MD5检查，那么gsutil如何确定一个文件是否应该同步？

浏览 7提问于2015-02-28得票数 3

回答已采纳

2回答

如何从我构建的玩具机器学习API中为每个预测返回一个以上的JSON元素？

python、json

也许是这样的： "predictions": "[[M, 0], [M, 0], [M, 0], [F, 1], [F, 1], [M, 0], [M, 1], ...]"(对于那些好奇的人

浏览 9提问于2019-07-11得票数 2

1回答

为大数据选择bach大小和学习率

machine-learning、neural-network、pytorch、data-science

数据集大约有250万行，我使用的是80/20的训练测试拆分。我在这里读到了一些答案和一些关于这方面的论文，这些论文建议批处理大小为32或64。但是，相对于数据集的大小来说，这不是非常小吗？我之前用浴缸大小的of10000和1e-2的LR进行训练，但没有得到很好的准确性。对于这么大的数据集，什么值是最优的？

浏览 0提问于2021-03-15得票数 0

2回答

一种计算效率高的方法来查找类型1行的ID，就在每个类型2行的上面和下面？

r、algorithm、sorting

我有以下数据 df <- tibble(Type=c(1,2,2,1,1,2),ID=c(6,4,3,2,1,5)) 1 62 3111 6 NA NA2 3 6 2 1 2NA

浏览 14提问于2021-06-17得票数 1

回答已采纳

4回答

允许多个程序集访问同一文本文件

c#、.net、file、file-io、filesystems

我在同一个c#/.net解决方案中有许多程序集/项目。使用web应用程序gui的人需要保存设置，然后控制台应用程序和一些测试项目需要访问相同的文件。我应该把文件放在哪里以及如何访问它？我尝试过使用"AppDomain.CurrentDomain.BaseDirectory“，但对于我的程序集来说结果是不同的。也许这不是我应该做的，而是放在一个文件中，而是放在数据库中？但对于几行配置来说，这样做感觉太复杂了

浏览 1提问于2008-09-19得票数 0

回答已采纳

3回答

C#属性与元数据含义

c#、performance、attributes、xna、metadata

我从网上阅读了关于C#属性和元数据的教程。这很酷，但我想知道它的含义。是在加载程序集时加载的(自定义)属性吗？还是仅当您使用反射检索元数据时呢？

浏览 1提问于2010-03-24得票数 8

回答已采纳

2回答

给定一个单元格向量数组，删除任何其他向量的子集。

matlab、cell

个单元向量: c{1}=1 2 3；c{2}=2 3 4 4；c{3}=1 2 3 4 5 6；c{4}=2 3 4 7；c{5}=2 3 7；c{ 6 }=4 5 6；然后我要删除1 2 3，2 3 4和4我用两个循环来查找所有这些子集，但对于大数据集来说太慢了，有什么简单的方法吗？

浏览 1提问于2014-02-20得票数 0

回答已采纳

4回答

面向大数据的Javascript图表库

javascript、dataset、charts

有没有人知道可以处理大型数据集的Javascript图表库？我不想使用Flash或Silverlight。我希望使用Javascript，这样我的用户就可以在图形周围使用zoom+pan，并打开/关闭线条等。但是如果这对于任何Javascript绘图库来说都太多了

浏览 0提问于2011-02-17得票数 31

回答已采纳

点击加载更多