腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
读取
和
合并
多个
文件
时
将
文件
名列
添加到
表
中
我
在
一个
文件
夹中有几个具有相同列名的.csv
文件
我想
合并
它们并添加每个
文件
的名称作为第一列 我试过了 filenames <- list.files(getwd(), full.names = FALSE, ~read_csv(.x) %>% mutate(id = .y)) # .x is element in filenames, and .y is element in sites 通过此连接
文件
,但第一列是编号而不是
文件
名 喜欢 > ans
浏览 34
提问于2020-07-26
得票数 0
回答已采纳
1
回答
将
csv
文件
合并
到一个工作
表
中
,并获取工作
表
上每个csv
文件
的时间戳和
文件
名
、
我已成功
合并
多个
csv
文件
。我现在正在尝试获取每个导入的csv
文件
的
文件
名
和
创建的时间戳,并将
文件
名
和
创建的时间戳放入特定单元格的单独工作
表
中
。这将列出我已按
文件
名
和
创建的时间戳
合并
的
文件
。我想我可以
在
循环中添加一些类型的代码。我只是不确定用于时间戳和
文件
名的语法。我也不确定这是否可以做到?有没有人知道我可以<
浏览 22
提问于2019-05-16
得票数 0
2
回答
如何
将
火花流应用程序的输出写入单个
文件
、
、
、
、
我正在使用星火流
读取
Kafka的数据,并将其传递到py
文件
进行预测。它返回预测以及原始数据。它将原始数据与其预测保存到
文件
中
,但是它正在为每个RDD创建一个
文件
。我需要一个单一的
文件
,包括收集的所有数据,直到我停止程序被保存到一个
文件
。 我尝试过writeStream,它甚至没有创建一个
文件
。我尝试过使用附加
文件
将其保存到parquet,但它会创建
多个
文件
,即每个RDD为1个。我试着用附加模式编写<
浏览 5
提问于2019-08-19
得票数 2
回答已采纳
1
回答
从
多个
文件
读取
并写入一个
文件
的spring批处理
、
我有春季批处理配置,从
多个
文件
读取
和
写入
多个
文件
。是否可以只写入从
多个
文件
读取
的一个
文件
。假设我接收到了庞大的XML
文件
,我
将
XML拆分为小
文件
,并使用分区程序并并行
读取
小
文件
。但是,我需要将从不同的小型xml
文件
读取
的所有数据写入一个输出
文件
。这与spring批处理是可能的
浏览 4
提问于2020-06-16
得票数 0
回答已采纳
1
回答
合并
、排序和
合并
总共超过200万条记录(行)的
多个
输入
文件
(固定空格分隔的txt
文件
,共42列)
、
、
、
、
我以
多个
输入
文件
的形式处理两百万条记录(用45列分隔的固定空间),我必须对它们进行排序,然后将它们
合并
在一起,以前我是处理数组列表,生成存储在这些数组列表
中
的bean,排序和
合并
,当记录较少时,它工作得很好,但当我
合并
所有输入
文件
时
,它抛出堆空间内存异常。现在我开始使用数据库MS Access来解决这个问题,并使用JDBC ODBC连接
读取
并将我所有的输入
文件
放入access
表
中
,
浏览 0
提问于2015-11-03
得票数 0
1
回答
雪花外接级
文件
推荐外接
表
、
专家们,我们通过使用存储过程
读取
外部
表
来动态地解析存储
在
S3
中
的JSON
文件
中
的JSON记录(一组使用横向扁平查询的逻辑)。我需要下面的建议。
将
多个
JSON
文件
单独存储
在
S3
中
,而不通过外部
表
进行
合并
和访问。
将
源
中
的
多个
JSON
文件
合并
为单个JSO
浏览 2
提问于2020-07-03
得票数 0
1
回答
如何
将
Hive分区
和
存储桶
中
的
文件
合并
为一个大
文件
?
、
、
、
、
几天前,我通过
合并
多个
文件
在
hive
中
创建了一个分区
和
分桶的
表
。 由于Azure没有提供任何停止集群的选项,因此我不得不删除集群以节省成本。数据独立存储
在
Azure存储帐户
中
。当我使用相同的存储帐户创建新群集
时
,我可以使用HDFS命令查看数据库
和
表
,但配置单元无法
读取
该数据库或
表
,可能配置单元没有关于此的元数据。剩下的唯一选择就是
将</e
浏览 17
提问于2019-11-02
得票数 1
1
回答
用相似的名称组合
多个
excel
文件
、
关于
将
多个
excel
文件
合并
在一起,我有一个有点笼统的问题。通常,我会使用pd.read_excel
读取
文件
,然后连接起来。然而,我有一些情况下,字段名并不完全相同,但相似。例如,另一张纸是:苹果,橙色,尺码,# 我使用了重命
名列
函数,但是使用这个函数,我必须检查
和
比较每个
文件
中
的每个名称。
浏览 0
提问于2018-04-13
得票数 0
回答已采纳
2
回答
大型csv到html报告
、
、
、
我收到大小很好的csv
文件
(10k行)。我的服务处理它们并将它们压缩到一个更大的csv
文件
中
(最多300 k行)。获取17000个
文件
并将其转化为1个
文件
需要花费很长时间(上次我试了18个小时)。当前的过程是获取csv的一行,解析它以查看它是否存在于我的主数组
中
,或者创建一个新条目,或者
将
数据
添加到
数组
中
的一个现有条目中。有更好的
浏览 0
提问于2014-07-03
得票数 0
回答已采纳
1
回答
AWS CVS数据流水线
、
、
我是AWS的新手,我想在AWS
中
做一些数据流水线。我有一堆CSV
文件
存储
在
S3
中
我想
合并
所有的CSV
文件
并将
文件
名
添加到
每一行,
在
合并
CSV之前,需要删除每个
文件
的第一行;
在
处理后,
将
文件
名列
拆分为_ --这一切都在DB
中
。
浏览 0
提问于2020-01-07
得票数 0
4
回答
从
文件
系统
读取
文件
时
并发性
、
、
、
、
我们有一个应用程序,它从一个特定的
文件
夹
读取
文件
,对它们进行处理并将其复制(一些业务逻辑)到另一个
文件
夹。这里的问题是,当需要处理的
文件
数量非常多时,运行应用程序的单个实例或单个线程已不足以处理这些
文件
。 这方面的一种方法是启动应用程序的
多个
实例(我觉得这种方法有问题。如果有的话,建议我另一种选择)。生成线程或启动应用程序的
多个
实例
时
,应注意的是,如果线程
读取
一个
文件
并开始处理它,则另一个线程不应该
浏览 1
提问于2011-11-15
得票数 1
2
回答
如何使用在数据流执行期间计算的架构写入BigQuery?
我有以下情况: 请你告诉我什么是实现这一目标的最佳选择?管道A可以使用TextIO
将
列
名列
表写入临时或暂存位置
文件
,然后由管道执行器
读取
这些
文件
以定义管道B的架构。如果这种方法看起来不错,请告诉我是否有Dataflow实用程序从临时或临时位置
读取
文件
浏览 3
提问于2015-04-03
得票数 4
4
回答
将
多个
Excel
文件
导入SQL Server
、
、
、
我有一些想要导入到SQL Server2012的40+ excel
文件
。导入向导是一个很好的工具,但它只允许我一次导入一个
文件
。我希望避免使用SSIS,因为导入应该相对容易-基本上它只是一个直接复制-粘贴,Excel
文件
中
的第一行是列名,Excel
文件
名=
表
名。 有什么简单的方法可以做到这一点吗?编辑:由于列
将
频繁更改,我希望避免手动创建
表
。这个向导很棒,因为它会自动为我创建
表
。
浏览 9
提问于2015-01-10
得票数 1
2
回答
R:如何
将
300个1 1GB的.rds
文件
组合成一个大的rds
文件
而不将它们
读取
到内存
中
?
我有300+ .rds
文件
,每个
文件
都有相同的列名,我想把它们绑定到一个压缩的.rds
文件
中
,我可以通过sftp进行传输。 有没有一种方法可以
在
不将它们读入内存的情况下有效地完成这项工作?目前,我正在使用以下代码,但这会在写入
文件
之前耗尽内存。任何想法都是非常感谢的。
浏览 81
提问于2020-11-26
得票数 4
2
回答
在
读取
r
中
的csv
时
,向dataframe添加列名
、
、
、
、
我的目录中有
多个
.csv
文件
,它们没有列名。因此,
在
没有标题的情况下
读取
它们时会出现错误。 Match.names
中
的错误(clabs,name(Xi)):名称与先前的名称不匹配。因此,我希望
将
列名附加到这些csv
文件
中
,并将它们
合并
到一个数据
文件
中
,但是在
读取
这些
文件
时
,我无法向
多个
csv
文件
添加列名。<e
浏览 3
提问于2017-11-17
得票数 1
2
回答
没有第三方库的.Net 4.5
中
的Zip
文件
、
、
、
、
我有一个窗口表单(用vb制作),其中业务用户可以
在
多行文本框
中
输入文档号,每个数字可以
在
该数字下有一个到
多个
文档,也就是说,如果它们输入12345,网格视图
将
显示与该文档号相对应的4个文档(文档的名称
和
描述所以我有这个文档
名列
表,我搜索了这个站点,但是我不知道如何从我的目录
中
循环这个文档
名列
表,然后将它们压缩到一个没有第三方库(如dotnet等)的
文件
夹
中
,因为我是不允许的。 我知道.NET的静态(
浏览 2
提问于2016-06-08
得票数 0
回答已采纳
1
回答
将
表
INT值从已签名执行更改为无符号执行
、
我有一个主键为max的
表
,INT hit,2147483647 假设我想将它切换到无符号,并且
表
中
没有负值,因为它是主键,因为我目前认为它是使
表
重新运行的最快方法。
浏览 3
提问于2015-12-18
得票数 4
回答已采纳
1
回答
从
表
模式处理看Hive
和
Parquet之间的火花-主键差异
、
我是新来的火花
和
蜂巢。我不明白这句话如果有人用例子来解释这句话,那对我会更好。谢谢你。
浏览 1
提问于2016-12-10
得票数 1
1
回答
在
SSIS Foreach循环容器中提取
文件
名
和
更新
表
、
、
、
、
我有一个SSIS包,它有这个Foreach循环容器(带有
文件
枚举器),它从一个包含
多个
CSV
文件
的
文件
夹
中
读取
,然后
将
数据上传到一个平面
表
中
。这很好,但是我的问题是还试图提取
文件
的
文件
名,然后
在
插入一行后填充平面
表
中
的最后一列。我还在数据流任务(
在
ForEach循环容器
中
)之后添加了一个执行SQL任务,希望它能
浏览 15
提问于2022-02-01
得票数 2
回答已采纳
1
回答
处理
文件
名
和
R
中
的“
合并
辩证码”
、
我用 ()有几百个
文件
名。当我使用list.files()函数
时
,我无法让R
读取
或打开这些
文件
,因为R
将
文件
名与“
合并
Diacritical”(如\u301
和
\u308 )分别转换为\xb4
和
\xa8。
在
文件
名列
表上应用gsub()函数,以组合的尖锐重音替换单独的急性重音(即,filenames <- gsub("A´", "Á",
浏览 4
提问于2017-09-27
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
索引
Hive 3的ACID表
深入了解HBase架构
Uber使用Apache Hudi构建了一个大规模事务型数据湖
使用Python编写PDF小工具的实现方法
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券