我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据</
浏览 14提问于2020-02-17得票数 2
回答已采纳
一个文件夹中有多个tsv文件。我想将每个tsv文件转换为csv文件，并将所有csv文件合并为一个大型csv文件。customer_data = r"C:\Users\username\Desktop\folder\CustomerData_20201030031520.tsv"
customer_data = pd.read_
浏览 29提问于2020-10-30得票数 0
1回答
我有一个包含多个表的大型数据集。每个表被分成数百个csv.gz文件，我需要通过PySpark将它们导入到Spark中。有关于如何将"csv.gz“文件导入到Spark的想法吗？SparkSQL的SparkContext或SparkSession是否提供了导入此类文件的功能？
浏览 22提问于2017-07-06得票数 1
1回答
我是ios开发新手，我遇到了与内存管理和处理大型数据集的方法有关的问题。
现在，我正在加载csv文件，并在应用程序初始化时将相关数据作为对象存储在内存中。有些csv文件大于1MB，我的应用程序总共使用了大约180 my的内存。这显然是太高的数字(除非我发现的信息是错误的，这是一个可接受的数字，然后请告诉我)。我觉得我的方法有一个根本的缺陷:我是否可以避免将
浏览 0提问于2014-06-07得票数 2
回答已采纳
我是R的初学者，我需要帮助完成一项任务，ParentAccount <- read.csv("FullAccountList.csv")我想将这个ParentAccount数据集(按行排列)分解为多个小数据集，每个数据集大约有2000行，
浏览 0提问于2018-09-27得票数 0
回答已采纳
1回答
我正在使用内置Hadoop的PySpark 2.4.4处理一个大型数据集。数据集被分成多个压缩的CSV文件，我正在尝试使用PySpark的DataFrames报告各种列的聚合计数。在我要求PySpark使用以下命令将DataFrame写入磁盘之前，它一直处理得很好
df.write.csv(&
浏览 0提问于2020-02-23得票数 0
我有一个很长的csv文件列表，我想以数据帧的形式读取这些文件，并按文件名命名它们。例如，我想读入文件status.csv，并为其数据帧指定名称status。有没有办法可以使用Pandas有效地做到这一点？ 查看this，我仍然需要在循环中写出每个csv的名称。我想避免这种情况。 看看this，它允许我将多个<e
浏览 38提问于2019-03-20得票数 1
回答已采纳
1回答
在处理大型数据集时，它显然更好，但在使用dataset时，必须将其转换回张量。但为什么不先用张量呢？为什么和何时应该使用tf.data？为什么不能让tf.data返回整个数据集，而不是通过for循环来处理它呢？当数据集的函数最小化时(使用类似于tf.losses.mean_squared_error的方法)，我通常通过张量或numpy数组输入数据，并且不知道如何通过for循环输入<
浏览 0提问于2019-02-26得票数 4
回答已采纳
我有一个很大的数据集，我想在一个IPython笔记本中绘制。output_notebook()p1.circle(
浏览 3提问于2015-12-20得票数 9
这的确是一个广泛的话题。我目前正在学习如何轻松处理大约50 to。
到目前为止，我有chrisb和Noobie提到了达斯克作为一个潜在的替代方案。理想情况下，我希望执行类似的操作，就像我通常在Pandas上执行的操作一样。我已经阅读了论坛，并找到了一些方法将cvs文件划分为更易于管理的1Gb文件，我可以使用read_csv分别加载和处理这些文件。例如，这个问题展示了如何分割
浏览 5提问于2016-08-10得票数 2
回答已采纳
我有一个大约1.85 GB的数据集，其中包含h5文件，我需要使用hadoop处理这些文件，为此，我可能需要将这些文件转换为文本或csv。hadoop有没有办法读取h5文件?或者有没有好的在线工具可以将h5文件转换成csv或文本文件?或者谁能给出一个链接，在那里我可以下载一个包
浏览 1提问于2013-08-29得票数 1
1回答
我一直在使用Google data Studio为Google Analytics 360数据构建仪表板。这些数据目前是通过谷歌BigQuery获取的，以避免抽样。然而，BigQuery有一个限制，它只能获取自实现时起13个月的先前数据。因此，13个月之前的数据不能使用SQL拉入BigQuery。我已经从GA导出了2个带有5个参数的未采样报告CSV文件</
浏览 26提问于2019-06-14得票数 0
1回答
我是pyspark的新手。我只是想知道我应该将多大的文件写入S3，这样Spark就可以读取这些文件并进行处理。有没有读神的链
浏览 1提问于2021-04-05得票数 0
我已经加载了一个巨大的CSV数据集-- Eclipse的使用PostgreSQL的副本，而且它占用了很大的空间，因为它没有规范化:三个文本列被更有效地重构成单独的表，从主表中引用外键列。我的问题是:是在加载所有数据之后重构数据库，还是创建包含所有约束的预定表，然后加载数据？前者涉及重复扫描一个大型表(接近10^9行)，而后者则涉及对每个CSV行执行多个</
浏览 3提问于2010-10-26得票数 2
回答已采纳
我正在尝试使用Keras实现一个LSTM网络，但在获取输入时遇到了问题。我的数据集是多个CSV文件的形式(所有文件都具有相同的维度68x250，每个条目包含2个值)。在不同的类之间大约有200个CSV文件。Preview of one of the CSVs 如何将这些多个CSV</e
浏览 45提问于2019-02-26得票数 1
回答已采纳
1回答
我在.csv文件中有一个数据集。第三维空间是大约60个文件的深度，按日期标记。是否有有效处理此问题的工具集？我认为我的主要问题是：是否有办法将.csv文件的文件名添加到<em
浏览 1提问于2014-11-07得票数 0
回答已采纳
我在NetLogo中遇到了使用大型*.csv / *.txt文件的问题。如何在NetLogo中更快地读取如此大的数据文件？NetLogo是否适
浏览 0提问于2012-09-19得票数 3
2回答
生成存储资源的队列
、、、、
我有一个大型数据集存储在一个Firestore集合中，一个Nodejs应用程序(作为一个火基functions.https.onRequest公开)有一个端点，它允许用户查询这个数据集并下载大量数据。我需要从端点返回CSV格式的数据。因为有大量的数据，所以我希望避免每次命中端点时进行大型数据库读取。
我现在的端
浏览 4提问于2020-08-13得票数 0
回答已采纳
2回答
我想让我的Jmeter从一个位置读取多个csv文件，比如c:\Jmeter\file。目前，如果我在csv data Set Config下的‘’Filename‘中提供特定的CSV文件名，Jmeter会识别该文件并执行我的脚本。我不想硬编码文件名，我想让jmeter从这个位置自动读取。我已经编写了BeenShell PreProcessor (因为我找不到任何简单的解决方案)，这个程序从位置读取所有csv文
浏览 4提问于2015-07-22得票数 2
1回答
我使用的引用大约为165 MB。引用数据块每个限制为100 MB，但声明如下：
的限制为每个blob 100 MB，但是作业可以使用path模式属性处理多个引用blob。我该如何利用这一点呢？我已经将我的数据分成两个85 MB的文件，iplookup1.csv和iplookup2.csv，但似乎无法弄清楚如何将引用数据输入作为一个</e
浏览 0提问于2017-10-05得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
