使用超大数据的Tensorflow处理

文章/答案/技术大牛

发布

0回答

tensorflow

我有一个很大的图像文件，我正在尝试加载并使用tensorflow (600000,20,64,64)。我想使用批处理大小的feed_dict，但是数组太大了，甚至无法加载到numpy数组中。有没有一种我可以使用的方法，不需要加载整个数组？

浏览 5提问于2017-12-05得票数 1

2回答

如何在RNN TensorFlow中使用超大数据集？

pandas、machine-learning、tensorflow、dataset、data-processing

我有一个非常大的数据集: 7.9 GB的CSV文件。其中80%作为训练数据，其余20%作为测试数据。当我加载训练数据(6.2 GB)时，我的MemoryError是在第80次迭代(第80个文件)。下面是我在加载数据时使用的脚本：import os col_names = ['duration', 'service', 'sr

浏览 1提问于2017-07-25得票数 6

回答已采纳

3回答

在window中扩展REST以处理数千个请求的合适方法

web-services、azure、scalability

我有一个REST，通过它，我允许用户应用程序(azure应用程序)向我的DB发送perfmon数据。现在，为了加载测试这个REST，我构建了一个500个webrole的模拟器应用程序，每个实例有10个(总共500个实例)，每1分钟50000 (大约)请求就会将数据发布到REST，所以我需要使用最佳实践来扩展REST，以处理大量的负载。下面是我扩展REST的测试用例

浏览 10提问于2012-08-08得票数 3

2回答

Scala等同于pyTables？

scala、pytables

我想在Scala中寻找一些类似于提供的帮助。PyTables是一个用于管理分层数据集的包，旨在高效、轻松地处理超大数据量。有什么建议吗？

浏览 2提问于2011-11-05得票数 2

回答已采纳

1回答

哪种RDS实例类型的IO更好:超大数据库实例还是高内存超大实例

amazon-rds

我遇到了使用mysql 5.5.12的Amazon RDS的IO性能问题。有两种相似且价格相近的实例类型：高内存超大型实例，17.1 GB内存，6.5 ECU (2个虚拟内核，每个3.25 ECU)，64位平台，高I/O容量(每小时0.65美元) 有没有人知道超大数据<

浏览 1提问于2011-08-09得票数 6

回答已采纳

1回答

准备要作为数据集提供给tensorflow的图像

tensorflow、keras、conv-neural-network、tensorflow-datasets

AskTensorFlow 我使用了tensorflow打包的数据集，如MNIST，IMDB来研究tensorflow的工作原理。然而，在实际应用中，我们必须自己对数据集进行预处理和准备。假设我正在处理图像数据集，所以我想将它们预处理为可以输入到tensorflow模型中的格式。如何将图像数据集预处理为tensorflo

浏览 2提问于2018-11-17得票数 0

1回答

对于大容量postgres数据库，‘`ALTER TABLE mytable副本身份完整；’是安全的操作吗？

postgresql、alter-table、postgresql-9.6、debezium

我正在使用debezium和Postgres数据库。该数据库包含几个带有TOAST (超大属性存储技术)列的表。要处理未更改的Postgres TOAST列值，一种方法是将表的REPLICA IDENTITY设置为FULL。但是，我不确定运行ALTER TABLE mytable REPLICA IDENTITY FULL是否会导致数据库宕机，或者这是否是一个安全的操作。

浏览 38提问于2021-06-15得票数 1

1回答

linux中是否有一种方法可以增加linux上广播接口的MTU大小，以便能够发送更大的UDP数据包？

linux、udp、broadcast

我在linux上的Bcast:192.168.1.255接口的wlan0上广播UDP数据包。它运行良好，我正在接收一个在另一台机器上编写的UDP客户端。我了解到，我不能发送一个UDP数据包比MTU的大小声明在那个特定的接口。问题 linux中

浏览 0提问于2019-12-18得票数 0

回答已采纳

1回答

如何使导入保持轻量级，并且仍然正确地键入注释？

python、tensorflow、mypy、python-typing

Tensorflow是一个超大型进口。我只想在需要的时候才进口它。但是，我有一个像这样的模型加载函数：from keras.models import Model # Heavy import!

浏览 5提问于2020-07-28得票数 5

回答已采纳

1回答

用于训练和预测、提高值和属性错误的Keras形状输入。

python、tensorflow、keras、conda

我很难将数据输入到预测和训练的简单角点模型中。我已经看过相关的问题了，但在花了6个小时试图自己解决这个问题之后，我仍然在努力解决这个问题。进口和网络：from tensorflow.keras.layers import Dense引发以下错误：

浏览 1提问于2020-05-29得票数 1

2回答

Dataproc、Dataprep

tensorflow、google-cloud-platform、google-cloud-dataproc、google-cloud-dataprep

我正在尝试创建处理大数据集的ML模型。我的问题更多地与这些大数据集的预处理有关。在这个意义上，我想知道使用Dataprep或Tensorflow进行预处理有什么不同。任何帮助都将不胜感激。

浏览 1提问于2018-03-12得票数 1

回答已采纳

1回答

TensorFlow数据集如何处理无法装入服务器内存的大型数据？

tensorflow

问题Spark可以处理具有多个节点的大型数据。对于中的问题，答案是使用Tensorflow变换，它使用Apache，它需要分布式计算集群(如Spark )。由于TensorFlow预处理(例如获取列的平均值或std )需要Apache，所以我想它也是基于Apac

浏览 3提问于2020-08-09得票数 1

1回答

glmnet批处理超大数据集

r、matlab、glmnet

我正在用matlab中的glmnet做多项式回归，并且有一个大约6-10 in的数据集，这取决于我做测试集的大小。我可以将它加载到内存中，但是glmnetmex似乎无法处理更大规模的培训的整个数据集(例如排除一个数据集)。我怀疑应该有一种方法对glmnetmex的输入进行批量处理，但我似乎无法在文档中找到它。如果R版本有解决这个问题的方法，我可以使用R版本。

浏览 1提问于2016-08-23得票数 1

回答已采纳

1回答

Python:并行化GPU和CPU工作

python、multithreading、concurrency、parallel-processing、tensorflow

为我的ML模型处理批处理花费了太多的时间，所以我正在考虑并行化它们。计划如下:一个单一的数据结

浏览 4提问于2016-07-05得票数 2

回答已采纳

1回答

Jquery:触发超大函数前的延迟？

javascript、jquery、function、delay、supersized

我有一个页面上有很多动画，以及超大的插件9大背景图像旋转木马)。似乎为Supersized函数加载背景图像会稍微打乱我的动画，使它们抖动。我的目标是在插件被触发之前完成所有其他的动画。有没有人对如何做到这一点有什么建议？谢谢!

浏览 1提问于2013-02-15得票数 1

1回答

Akka vs Gridgain的合适问题是什么？什么时候一个比另一个更合适？

scala、akka、gridgain

我正在尝试理解Akka和Gridgain之间的区别。请解释一下什么时候一个比另一个更合适，以及对于什么问题？

浏览 0提问于2013-02-19得票数 0

回答已采纳

1回答

更改jquery超大插件的高度和宽度

javascript、jquery、html、css、supersized

我正在使用超大的jquery插件3.2.7为一个网站创建一个滑块。超大尺寸的说明设置了滑块的全屏实现，但我想让滑块的宽度达到当前宽度的70%左右。根据超大的网站，我应该能够通过更改滑块的CSS选择器来修复这个问题，这样位置是“绝对的”而不是相对的。然而，当我改变--缩小高度和宽度--滑块就会消失。我也尝试过使用较小的图片，这似乎

浏览 1提问于2013-08-30得票数 0

回答已采纳

15回答

Tensorflow一个热编码器？

python、machine-learning、neural-network、tensorflow

对于处理分类数据，tensorflow是否有类似于scikit learn的的东西？使用tf.string占位符会表现为分类数据吗？我意识到在将数据发送到tensorflow之前，我可以手动预处理数据，但是让它内置是非常方便的。

浏览 16提问于2015-11-12得票数 73

回答已采纳

1回答

Tensorflow -如何忽略某些标签

tensorflow

我正在尝试实现一个完全卷积的网络，并在Pascal数据集上训练它，但是在阅读了集合中的标签之后，我发现我需要以某种方式忽略"void“标签。在Caffe中，他们的softmax函数有一个可以忽略标签的参数，所以我想知道机械原理是什么，所以我可以在tensorflow中实现类似的东西。谢谢

浏览 1提问于2017-04-02得票数 0

回答已采纳

3回答

git在代理后面工作吗？

git、git-lfs

我失败的尝试：批处理响应: Post proxyconnect : tls:接收长度为20527的超大记录

浏览 1提问于2018-08-08得票数 5

回答已采纳

点击加载更多