columns = ['DATE', 'NAME', 'TYPE'])>>> df.set_index(['DATE', 'NAME'], inplace=True)
然后检查索引是否在[
浏览 15提问于2017-08-26得票数 4
回答已采纳
1回答
我正在处理一个JSON文件形式的大型twitter数据集。当我试图将其导入Tableau时，会出现一个错误，上传失败的原因是数据上传限制为128 MB。因此，我需要缩小数据集，使其达到128 of，从而降低分析的有效性。
我们能用AWS产品来处理同样的事情吗？请指点！
浏览 3提问于2017-09-13得票数 1
回答已采纳
1回答
我正在处理一个非常宽的数据集(1005行* 590,718列，1.2G)。将如此大的数据集加载到熊猫数据集中会导致代码失败，这完全是由于内存不足造成的。我知道Spark可能是处理大型数据集的Pandas的一个很好的替代方案，但是在Pandas中有什么合适的解决方案来在加载大数据的同时减少内存使用吗？
浏览 0提问于2018-02-26得票数 4
回答已采纳
我正在运行一个处理大型数据集的python程序。有时，当机器耗尽内存时，它会运行到MemoryError中。Python有可能预先分配堆上的空间吗？
浏览 2提问于2020-12-30得票数 1
1回答
> print(object.size(VLU_All_Before_Wide),units="Gb")xall_tes <- data.matrix(subset(test_set, select=-c(VLU_Incidence,Replicate))) 当我开始我的R会话时，RAM是~3 gb，当我激活所有上面的代码时，它现在是14 gb，给我留下了一个错误，告诉我无法分配大小为4 gb的向量。我
浏览 44提问于2019-03-21得票数 5
1回答
我正在尝试将大型数据集导出到RDBMS表中。有时它会失败。如何处理已经被RDBMS处理过的记录。我不想再次执行完全加载，我只想加载剩余的记录。有没有办法在sqoop中做到这一点？
浏览 2提问于2020-07-08得票数 0
我想将数据从裸机hadoop集群上的配置单元表复制到亚马逊S3存储桶中。my_bucket/my_folder_path/';
它适用于较小的数据集但是，如果我尝试使用更大的数据集，我会得到堆栈跟踪错误，如下图所示。提前谢谢。
浏览 0提问于2016-06-16得票数 0
基本上，我使用jquery和ajax (使用C#)从后端返回数据并将其显示到屏幕上。该代码在firefox和IE上运行良好。但是当数据变得太大(??)(1500+表行)时，我得到的只是一个未定义的弹出窗口。有帮助吗？
浏览 4提问于2010-03-22得票数 2
回答已采纳
1回答
我有两个功能。第二个函数使用第一个函数的输出。DELIMITER $$CREATE FUNCTION fp_splitfactor_price (id CHAR(8), startdate DATE)BEGINSELECT IFNULL(EXP(SUM(LOG(f.p_split_factor))),1) INTO splitfactorWHERE
浏览 1提问于2018-11-14得票数 0
回答已采纳
我想将它与存储在ActiveRecord (PreviousData)中的以前的数据进行比较。 到目前为止，我已经这样做了，但失败了，因为它需要很长时间来比较大型数据集。我如何优化它以处理更大的数据集？ added = csv_data.select{|item| !PreviousData.where(iden: item[:iden]).exists?}
浏览 25提问于2020-10-21得票数 0
回答已采纳
1回答
我的MATLAB程序生成每个带有T=10^8时间步长的N=100轨迹，即最终，我想要处理这个数据集，并获得所有轨迹的平均自相关：现在，由于x太大而无法存储，我唯一可行的选择是将其以10^6的小块保存在硬盘驱动器上x2 = randn(10^6, 100);然后分别处理每个轨迹
浏览 16提问于2016-07-25得票数 0
回答已采纳
3回答
我对数据科学比较陌生，我正在处理一个大型数据集。它有很多行和大约270个特征后，删除了大量的nan值和编码的分类特征。当我使用sklearn进行逻辑回归时，我的计算机就会耗尽内存并崩溃。我如何处理这样的大型数据集？
浏览 0提问于2021-09-20得票数 1
我正在使用类型arry处理非常高的数据集。在迭代此数组时，我的应用程序的性能受到影响。我想使用webworkers，它将在大型数组上执行操作，并将处理后的数据集直接返回给application.web
浏览 3提问于2016-10-07得票数 1
1回答
SVM模型图的缺失公式
、、、
在我想要创造我的情节之前，一切都是正确的。readmitted)table (testPred2, test.data$readmitted)
我一直在玩阴谋和桌子我一直在使用带有9999行的数据集来测试这个数据集。但我的真实数据集是107,000行。所以要花很长时间才能发现我错了。任何帮助都将不胜感激。谢谢
浏览 1提问于2016-12-01得票数 0
过去两天，我一直在尝试使用RxImport函数将大型CSV (9 to )转换为XDF格式，但没有成功。这个过程一开始似乎很顺利，R服务器一块一块地读取数据，但几分钟后它变得缓慢，然后在大约6小时后完全失败，Windows停止服务器，说它的RAM用完了。
浏览 0提问于2017-06-02得票数 1
1回答
我目前正在尝试从网站上抓取数据，并从中构建一个大型(可能会随着时间增长)的数据集。我想知道在处理、保存和加载大型数据集时，是否有什么好的做法可以采用。更具体地说，当我想要保存的数据集太大而无法存储在RAM中时，我应该怎么做，然后一次性写入磁盘；并且一次写入一个数据点太低了？有没有比一次写一次中等大小的文件更聪明的方法呢？
谢谢您
浏览 15提问于2017-08-17得票数 2
回答已采纳
我正在开始一个新的软件，应该能够处理大型数据集，即一些兆字节的数据。
我已经看到Rocksdb允许存储大型数据集，但我不确定它是否是一个核心特性？我的意思是，如果数据集比计算机内存大，它会处理它吗？此外，在没有交换的情况下，是否有关于使用这种内存数据存储的性能影响的研究？谢谢
浏览 1提问于2017-05-15得票数 0
回答已采纳
1回答
我有一个数据集，其中包含来自世界各地150个国家的地址，您的任务是验证它们，数据存储在三个字段-地址线，城市，邮政编码。我还提供了每个国家的地址验证解决方案，但数据集不包括国家代码。任务是设计逻辑，处理数据并为每条记录查找国家，这样它们就可以通过验证组件运行。什么是最有效的方法。一个可能的解决方案需要在地图/减少框架中采用分布式方法和并
浏览 1提问于2019-08-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
