1回答
我写这封信是为了询问如何将一个大的训练数据提供给张量流模型的原理。我的培训数据托管在csv文件中，基本上是使用下面的代码将数据加载到队列中。, batch_size=batch_size, capacity=512, min_after_dequeue=256, num_threads=8)
Exp#1:一个140克大小的文件我认为在#2中，将数据加载到队列是一个瓶颈，但我已经使用了8个线程来加载数据。虽然训练数据</em
浏览 4提问于2016-05-25得票数 1
5回答
如何处理大的数据列表
、、、、
我们有一个应用程序的一部分，比如说，它需要读取超过内存限制的大量数据的20%的时间。虽然我们可以增加内存限制，但我们不太愿意这样做，因为在大多数情况下不需要增加内存分配。数据被加载到集合中一次，然后进行迭代和处理，然后丢弃。一旦它在集合中，就不需要进行排序。是否有一个开放源码产品提供了这样的列表驱动？
谢谢!该应用程序本质上是一个批处理程序，它从多个数据库表加载数据并在其上执行广泛的业务逻辑。列表中的所有数据都是必需的，因为聚合操作是逻辑
浏览 6提问于2009-11-04得票数 2
回答已采纳
1回答
Web应用程序调用wcf方法从DB获取数据，但它是非常大的数据。这需要时间，在此期间，特定用户的整个应用程序挂起，用户无法在web应用程序中执行任何操作。有人知道怎么处理这个案子吗？请让我知道如何处理这些情况，当我们需要从数据库中选择非常大的数据，并需要将其绑定到一些网格视图的情况下，非常大的数据，这需要很长时间和时间到期异常发生。有没有好的文章或链接来描述如何在WCF服务中<em
浏览 1提问于2015-01-18得票数 0
1回答
处理大时间序列数据
、、、
我目前正在处理一些与熊猫有关的大型时间序列数据，我有一个速度慢得令人无法忍受的功能，我相信它可以做得更快。index partId colour timeProduced \ ...4 '026531|355&#x
浏览 0提问于2018-04-09得票数 2
回答已采纳
1回答
还是我需要在模型/数据库中使用字符串？Rails版本3.2.21，SQLite3版本1.3.10
serialize :property, Float
告诉activerecord在数据库中存储YAML序列化的浮点数，允许存储Float::INFINITY。
浏览 3提问于2015-05-31得票数 7
result = logit.fit(start_params=None, method='bfgs', maxiter=20, full_output=1, disp=1, callback=None)
数据包含超过哪个数据“承认”是目标值，datatrain_cols是特征列表。有人能给我一些提示来解决这个问题吗？
浏览 2提问于2013-10-07得票数 2
首先，我对数据库一无所知，所以如果这是一个愚蠢的问题，请原谅我。每个blob大约有20个字节。有多达1000个发送者，每个发送者每秒发送大约25个包。一台普通的PC能处理这么多的数据吗？如果不是，如何处理这个问题？我们是否应该为每个发送者设置一台专用PC？
浏览 0提问于2009-03-10得票数 1
回答已采纳
哪一个更好？或我知道没有一刀切的解决方案，通常业务负担会起作用。但让我们暂时忘记这些，让我们想象一下，一个足够通用的新闻网站，可以满足这场辩论的需要。
浏览 0提问于2019-01-16得票数 0
1回答
我有一个大约1.5BLN观测值的200 to数据集，我需要运行一些条件分析和数据聚合*。人们如何处理这些数据集，这些数据集中在磁盘上，而不是内存中？我应该从哪里开始寻找解决方案？是否有一个大而非大数据数据集的信息集中的地方
浏览 4提问于2020-02-05得票数 6
回答已采纳
2回答
我即将开始一个新的项目，它基本上是一个报告工具，应该有一个相当大的数据库。
表的数量不会很大(<200)，大多数数据(80%)将包含在20个表中，所有数据几乎都是只插入/只读(无更新)。据估计，该表中的数据量将以每分钟240,000条记录的速度增长，我们应该保留其中至少1到3年的记录，以便能够生成各种报告，管理员可以在线查看这些报告。我没有这么大的数据库的第一手经验，所以我问那些有数据库的人在这种情况下哪种数据库是最好
浏览 3提问于2012-04-02得票数 4
2回答
我有一个类，它将数据发送到web API，然后处理大对象并生成相应的数据库记录。我正在处理一个相当大的对象，其中包含多种类型的子对象。= client.PostAsync(serviceEndpointURL,content).Result; 这将返回SystemOutOfMemoryException，这是可以理解的，但我不确定如何设计它来支持如此大的对象
浏览 15提问于2019-02-28得票数 0
我有一系列*.tiff电影，它们太大了，不适合numpy来处理(shape = (1, 9000, 512, 512))，看起来dask.array.image.imread可以处理这个问题(根据这个问题的答案但是，它使用shape = (1, 20, 512, 512)处理较小的文件栈，所以我认为它一定是关于块大小的。我试过是否可以在导入时在imread内更改块大小，但我没有找到任何东西。如何在导入时将imread中的块更改为(1,20,512,512) (这似乎是可管理的)？
浏览 0提问于2017-11-27得票数 2
回答已采纳
我有一个导入功能，它接受一堆xml格式的数据，并将其粘贴到我的数据库中。问题是，根据数据量的不同，处理过程可能需要相当长的时间。我在服务器日志中看到，有令人难以置信的大量sql语句正在执行，确实可以保存所有数据。针对HLGEM的回答：
我通读了批量插入的方法，但它对我来说似乎不是很实用，因为我有很多数据之间的关系……为了在一个表中放入100个数据</e
浏览 0提问于2010-02-09得票数 1
1回答
我有一个任务，扫描一个大表，为每一行做一些计算，并更新一些相关的表。有人告诉我，我应该在循环中定期提交，以免在内存中保留大量数据。我想知道这样的提交会有性能上的损失，比如重启事务，拍摄数据库快照等等。
在这种情况下，使用flush()会更好吗？
浏览 2提问于2019-08-26得票数 0
1回答
我使用的是jQuery自动完成组件。当我们在Chrome中按下箭头时，移动到下一项需要30毫秒左右。但是在火狐和IE中，它占用了大约170个milliseconds.Menu的移动功能是缓慢的。我们怎样才能覆盖它？？
浏览 5提问于2011-12-12得票数 0
1回答
大容量数据存储和处理
、、、、
我正在构建一个新的应用程序，其中我期望有大量的地理位置数据，就像移动的对象每5秒发送一次地理坐标。这些数据需要存储在某个数据库中，以便它可以随时用于跟踪地图上的移动对象。我必须至少在数据库中存储大约一周的数据。
这些数据基本上将用于简单的查询，如查找特定对象和特定路线的所有地理坐标。因此，查询并不是非常复杂，这些数据将不会用于任何分析目的。所以，我的问题是，我应该只使用普通的Oracle数据库，比如分布在两个虚拟机上的12C，还是应该考虑一些大
浏览 2提问于2016-03-29得票数 1
enter code here我正在尝试将参数从js传送到php。我尝试通过ajax，然后php需要接受参数，并将其导出到xml文件，而不是sql。<input type="text" id="name" onkeyup="search()" /><script>{ if (httpObj
浏览 0提问于2012-02-06得票数 0
3回答
上一个问题(初始级别优化)：Excel“大”数据处理与查找“我们计划将这一过程转化为一个旨在保存这么多数据的程序，但是IT和其他专家在接下来的7个月里都忙于更高优先级的项目。我需要在下个月底，当这类产品再次上市时，才能开始运行。目前的运行时间为8小时，如果它能够在早上自动运行，则是可行的，但我不知道如何实现这种过程。
我使用VBA还不到一年，也没有使用SQL或数组的经验。我知道这些项目可能有助于缩短时间，但我需要一些关于<
浏览 0提问于2017-03-22得票数 4
回答已采纳
假设您有一个非常大的表，比方说有几十亿无序的行，现在您想要为它建立索引以进行快速查找。或者，您可能要大容量加载它，并使用聚集索引在磁盘上对其进行排序。显然，当您处理这么大的数据量时，您必须停止假设您可以在内存中进行排序之类的事情(当然，在不使用虚拟内存的情况下，这会对性能造成很大的影响)。有人能给我一些关于数据库如何在幕后处理这样大量数据的线索吗？我猜有一些算法使用某种形式的智能磁盘缓存来处理所有数据</em
浏览 3提问于2009-11-13得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
