我有6个文件夹，每个文件夹包含2200个CSV文件，我知道如何在一个文件中读取所有这些文件并创建联合数据集，但问题是我需要对每个文件应用统计函数，然后将这些值(从每个文件获得的值以及该文件的名称)存储到另一个文件中因为我只需要分析<
浏览 6提问于2018-07-26得票数 0
回答已采纳
1回答
我有来自不同DB来源的大量数据(甲骨文、蒙戈、卡桑德拉)，也有卡夫卡提供的数据。使用Tableau进行分析，面对海量数据的性能问题。因此，计划以其他方式存储数据，并使用Tableau进行可视化。现在有多个选项，需要一些帮助才能最终确定方法。读取DB数据并将其存储在Parquet文件中，然后通过Spark或HiveQL或Presto公开它，并让Tableau连接到此SQ
浏览 2提问于2020-10-09得票数 0
2回答
R将大型CSV文件转换为HDFS
、、、、
我目前正在使用R进行分析。
我有大量的CSV文件，它们都具有相同的头文件，我希望使用R进行处理。我最初将每个文件顺序读取到R中，并在一起执行分析之前将它们绑定在一起。需要读入的文件数量正在增长，因此将它们全部保留在内存中以对数据执行操作变得
浏览 7提问于2015-02-14得票数 0
2回答
使用Scapy读取20 GB文件
、、、、
我有一个大小为20 in 的Pcap文件。我想用Scapy来分析。每当我想用Scapy阅读它时，我的笔记本就会挂起来。是否存在以块(一次读取几个MBs )的方式读取该文件，然后将它们保存在小型pcaps文件中。(请注意，我有一台机器。没有解决这个问题的大数据系统)
如何使用python从这些pcap文件中获取会话数据。有<e
浏览 5提问于2021-01-27得票数 0
除了使用sqlcmd或osql之外，有没有其他方法可以在硬盘上运行.sql文件。
浏览 0提问于2014-12-08得票数 0
我有一个excel工作簿，其中包含8张不同字母名称的工作表。我希望为这些表中的每个创建csv文件，并将其存储在python中的一个文件夹中。目前，我可以对工作簿中的单个工作表执行此操作，但我很难创建一个工作流，说明如何转换多个工作表并将<e
浏览 2提问于2022-03-24得票数 1
回答已采纳
我在中央应用程序中有几个物联网设备，它们正在向Azure blob容器发送遥测。对于每个blob，都会在容器中创建一个单独的文件夹(基于上传时间)。下面的快照显示了目录，在类似的war中，创建了多个目录/子目录来存储blob。 ? 如何将此数据读取到我的流分析作业中。我有一个流分析</em
浏览 32提问于2021-09-30得票数 0
1回答
我已经运行了各种模型(glm、rpart、earth等)，并将模型对象从每个模型导出到我计算机上的文件夹中。所以我现在有一个文件夹，里面有大约60个不同的模型，作为单独的.rda文件存储。这是通过创建一个模型函数，然后通过purrr map包将其应用于模型类型列表来完成的(以避免错误和终止)。
现在我想将它们重新加载到r
浏览 12提问于2018-07-24得票数 4
回答已采纳
3回答
假设我想读取每一行表示域对象的大型文件，并且需要将这些信息存储在缓存中。此文件使用多个线程读取。每个线程都在读取特定范围的行，并将映射的对象放入列表中。最后，当所有提交的任务都完成时，您应该有包含文件中所有对象的完整列表。CopyOnWriteArrayList我不能使用，因
浏览 2提问于2021-04-23得票数 1
回答已采纳
1回答
这些传感器以一定的采样速率连续地产生样品。一个样本由一个时间戳和测量到的维数本身组成；采样速率以1位数千赫(即每秒1到9000个样本之间)为单位。怎样才是缓冲样本的合理方法？在一些实际的设置下，获取可以轻松地每秒收集几兆字节。此外，在内存分配速度快但写入时需要交换时，分页可能是至关重要的。我可以
浏览 2提问于2015-06-17得票数 4
回答已采纳
4回答
计算大文本文件的字频
、、、、
我有一个巨大的文本文件(大于可用的RAM内存)。我需要计数所有单词的频率，并将单词和频率计数输出到一个新文件中。结果应按频率计数的降序排序。我的方法：
依次计数每个单词的频率，将计数存储在另一个文件中
浏览 9提问于2013-02-07得票数 5
回答已采纳
2回答
我正在开发一个web应用程序，用户上传一个文件，文件的内容保存在数据库中，并生成一个基本的散点图(使用php和d3)，其中包含患者的姓名和年份。该应用程序将允许用户选择散点图的任何“点”进行详细分析。当用户进行选择时，应用程序应该从数据库中获取包含所有字段的相应行，并将它们写入csv文件中。<
浏览 20提问于2014-03-31得票数 3
1回答
我需要将多个.txt文件导入R。每个文件中有多个句子(例如，“周一，我去公园了”)。我希望能够同时导入所有文件，然后将它们添加到tibble中，这样我就可以对其进行文本分析。.) %>%my_data <- read.delim(file(files))
但我不知道如何将每个</
浏览 4提问于2022-09-01得票数 0
我有一个用VS2017编写的VB程序。它读取许多excel文件，并将相关数据存储在Dim total_sessions As New List(Of Session_CSV_file)中。列表很大(~10k)，每个字段大约包括20个字段。
在VB中，有没有一种方法可以在一个命令中将其存储在一个文件</e
浏览 0提问于2020-04-05得票数 0
当我编译并运行我的项目时，Visual Studio Code会自动为每个.java文件生成一个.class文件，并将它们放在src文件夹中，但它们已经存储在bin文件夹中。为什么它们是重复的？ ?
浏览 150提问于2021-08-26得票数 0
回答已采纳
我已经做了很多分析，我想与幻灯片，海报，书面报告等分享输出。我可以在每个报告中复制分析，但我希望它是协调的(减少错误)，这样如果我在一个Rmarkdown文件(比如父Rmarkdown)中进行了更改，那么我更新的块也将在幻灯片，海报等中更新。
这是可能的吗?如果是的话，是如何实现的？
浏览 0提问于2019-04-13得票数 0
用于读取多个原始数据文件并为每个原始数据文件创建多个SAS数据集的SAS宏我叫钱德拉。我不是很擅长SAS宏，特别是循环部分和解析&&。等等。这是我的问题陈述。问题陈述:我有大量的原始数据文件(.dat文件)存储在服务器的一个文件夹中。我需要一个宏，
浏览 2提问于2015-09-30得票数 0
1回答
作为我被要求创建的代码分析报告的一部分，我需要对解决方案中每个文件的重复程度进行评级。要对每个文件进行评分，我使用的范围是0- 100，其中数字对应于Visual Studio中代码克隆分析结果窗口中的一个类别(即0 ==精确匹配、25 ==强匹配、50 ==中等匹配、75 ==弱匹配、我的问题是，当在Visual St
浏览 2提问于2016-01-27得票数 0
1回答
我有一个包含一些地球物理数据(地震数据)的文件，我从本地文件系统中读取这些文件，并将它们作为Hadoop Sequential文件存储在HDFS中。现在，我想编写一个MapReduce作业，它可以从这些顺序文件中读取值，并将它们存储到HBa
浏览 0提问于2012-05-05得票数 0
2回答
我有3个文件夹，每个文件夹包含40张图片。我希望从每个文件夹中读取图像，以便从每个图像中提取特征并将它们存储在一个变量中。
我不知道如何从多个文件夹中读取图像。如果有人能帮我做这件事会很有帮助。
浏览 1提问于2017-06-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
