2回答
我正在尝试使用word2vec和tfidf-score对包含16M条推文的数据集进行一个基本的推文情绪分析，但我的6 GB Gforce-Nvidia无法做到这一点。由于这是我第一个与机器学习相关的实践项目，我想知道我做错了什么，因为数据集都是文本，它不应该占用这么多内存，这会使我的笔记本电脑在tweet2vec功能中冻结或在缩放部分给出内存错误。所以我很好奇是什么导致了这个问题 # --------------- calculating word w
浏览 25提问于2020-10-23得票数 0
回答已采纳
我正在构建一个多标签文本分类程序，并试图使用OneVsRestClassifier+XGBClassifier对文本进行分类。最初，我使用Sklearn的Tf-以色列国防军矢量化文本，这没有错误。现在，我使用Gensim的Word2Vec来矢量化文本。然而，当我将矢量化数据输入OneVsRestClassifier+XGBClassifier时，在拆分测试和培训数据的行中会出现以下错误：
Type
浏览 1提问于2019-08-21得票数 2
TFIDFVectorizer占用了如此多的内存，向量化470MB的10万个文档需要超过6 GB，如果我们使用2100万个文档，它将无法容纳我们现有的60 GB内存。
浏览 0提问于2013-07-09得票数 3
回答已采纳
1回答
Album> df <- read.csv(file="t.csv", stringsAsFactors更新:我也尝试过使用word2vec进行矢量化，并使用了LibLineaR模型(这是quanteda的t
浏览 24提问于2021-05-23得票数 1
1回答
我正在从零开始训练word2vec的34 GB预处理MS_MARCO语料库( 22 GB)。(预处理的语料库是标记的，因此它的大小更大)我正在使用以下代码来训练我的word2vec模型：
from gensim.test.utils import common_texts, get_tmpfile这是值得怀疑的，因为在我的i5笔记本电脑有8个核心，我正在使用所有的8个核心100%在每一刻。另外，我的程序现在似乎已经从磁盘读取了超过100 GB的数据。有谁知道在34 <e
浏览 8提问于2020-03-25得票数 4
回答已采纳
我目前正试图在UMBC Webbase语料库( 400个文件中大约30 in的文本)上训练一组Word2Vec向量。 object SparkJobs {
val conf = new
浏览 1提问于2015-02-05得票数 6
我一直在尝试使用spark和mllib来训练word2vec模型，但我似乎没有从大型数据集上的分布式机器学习中获得性能上的好处。我的理解是，如果我有w工人，那么，如果我创建一个包含n个分区的RDD，n>w和我试图通过调用以RDD为参数的Word2Vec的fit函数来创建一个Word2Vec模型，然后spark将统一地分发数据，对这些w工人进行单独的word2vec模型训练，并在最后使用某种还原剂函数从这些w模型中创建一个输出模型。交换条件是，可能会出现一些精度损失，这取决于最终<e
浏览 1提问于2016-09-28得票数 1
回答已采纳
2回答
为此，我使用了一个Java运行时环境没有足够的内存继续运行。本机内存分配(malloc)未能为提交保留内存分配286333337
浏览 0提问于2014-06-10得票数 2
是否有一种有效的内存方法可以在不遇到内存问题的情况下将大型(>4GB)模型应用于？最近，我们将一个自定义管道框架移植到Spark (使用python和pyspark)，并在将大型模型(如Word2Vec和自动编码器)应用于标记化文本输入时遇到了问题。的word2vec模型，并将其从磁盘加载到内存中，这是非常慢的。因此，我的实际问题有两个：
如果我们为这些步骤编写了定制的估计器和变形金刚( Transformers )，那么就会使用</em
浏览 3提问于2020-07-01得票数 0
回答已采纳
2回答
我有一个预解压缩的文本文件的文件夹(来自图像、pdf、文档等的数据)。总共有222mb或27,600个文档。然后我将字典矢量化。X = vectorizer.fit_transform(documents.values())将“X”导出到文本文件会显示它的大小约为7 7gb！我尝试使用PCA将矢量化数据转换为2D数组two_dim = pca.fit_transform(X)t
浏览 2提问于2019-03-06得票数 0
我尝试使用的方法是首先使用Google的Word2Vec模型对每个评审进行矢量化，方法是从模型中抽取向量。然后，我把它们输入卷积神经网络来训练它。Dropout 0.5) (None, 256)
我使用一个大的网络然而，我的主要问题是我无法对大部分数据进行训练，因为我无法将所有的数据加载到内存中，而
浏览 4提问于2017-11-06得票数 2
我注意到，一个大型复杂数组在GPU上占用的内存是CPU上内存的两倍。600000000 single 在CPU上，这两个数组都是600 On -在GPU上，复杂数组使用我使用Matlab2013a在两个显卡上测试了这一点: GeForce GTX 680和Tesla K20。
我怎么才能避免这种情况？这是Matlab中的一个bug吗？
浏览 2提问于2014-04-03得票数 6
我一直在尝试使用trt.create_inference_graph将我的Keras转换后的Tensorflow保存的模型从FP32转换为FP16和INT8，然后将其保存为可用于TensorFlow服务的格式我比较了不同的型号与NVIDIA V100 32 GB和我的8 GB 1070GTX卡在笔记本电脑中。我试着减少和增加输入形状，以检查记忆效果。总的来说，我认为除了32 GB内存的优势(不仅可以加载模型，还可以处理更多的帧，而不会耗尽内存)，V100似乎没有这样的速度；我特别考虑在F
浏览 252提问于2019-03-14得票数 1
我们在bootstrap.conf中提到了4GB内存堆，并将所有存储库(内容、来源、内容和FlowFileRepository)配置为磁盘。但是，当NiFi实例运行一段时间后，它将开始使用10 GB的内存。
无法找到额外的6GB内存被消耗的地方。请帮帮忙。
浏览 2提问于2022-02-23得票数 0
2回答
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space-Xmx2048mError occurred during initialization of VM文本是黑色的。Phys
浏览 0提问于2019-01-04得票数 2
回答已采纳
1回答
嵌入与文本清理(NLP)
、、、、
我有很多数据(800万行)，文本通常写得不好，拼写错误太多。所以我必须进行一些文本清理和矢量化。为此，我考虑了两种方法：使用拼写检查器和形态分析器+记号化+用tf-idf将句子转换为向量来替换错误单词来清除文本。这里的问题是，有时候，Hun拼写无法提供正确的单词，并且用另一个没有相同含义的单词更改拼写错误的单词。此外，Hun拼写不重新定义缩略语或缩写(在我的例子中是非常重要的)，并且倾向于替换它们。第二次接近：
标记+使用一些嵌入方法(如word2v
浏览 3提问于2017-05-10得票数 0
回答已采纳
1回答
我有一个非常占用内存的程序，并且考虑使用-Xmx2048m为java分配更多的最大内存。但是在启动时，我得到了一个“无法为对象堆预留足够的空间”错误。但我喜欢分配2GB。我有6GB的物理内存，在用-Xmx1560m启动java进程之后，Taskmanager显示了3400 6GB可用。
有人知道为什么我不能分配2GB吗？
浏览 3提问于2013-07-26得票数 1
回答已采纳
我使用Networkx2.3/Python3.7/Windows1064bit/32GBRAM，并使用add_weighted_edge_from通过以下代码向图形添加近8M条边：g = nx.Graph() 这导致我使用的内存增加了6 6
浏览 35提问于2019-08-08得票数 0
1回答
图像>2 2GB
、、
我目前正在使用cudaMallocPitch()加载图像，但它无法加载非常大的图像，因为没有足够的内存可用。我有非常大的图像要处理，因为我正在处理高光谱图像。
浏览 6提问于2012-02-14得票数 2
1回答
我使用TPU，它提供35 GB内存。在我尝试运行这个代码片段之前，我有20 GB的空闲RAM。但我无法运行该代码片段，因为ram较低(它显示需要超过35 GB )，我使用的是6 GB的数据集。我使用了垃圾收集器，并删除了之前使用的数据帧。我该怎么做才能让代码正常工作呢？可用内存: 26.4 GB |处理器大小: 156.4 MB GPU可用内存:
浏览 35提问于2019-12-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
