腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
用spark从
s3
读取
CSV
文件
、
、
、
、
我是星火
的
新手。我有一个场景,需要从AWS
s3
读取
和处理
CSV
文件
。这个
文件
是每天生成
的
,所以我需要
读取
和处理它,并将数据
转
储到Postgres
中
。 我想并行处理这个巨大
的
文件
,以节省时间和内存。我想出了两个设计,但我对火花有点困惑,因为火花上下文需要打开所有
s3
桶
的
连接。使用火花流从
s3
读取
CSV<
浏览 2
提问于2018-04-26
得票数 2
1
回答
如
何在
java
中
读取
存储
在
Amazon
S3
中
的
JSON
文件
并
将其
转
换为
CSV
。
、
、
、
我
在
Amazon
存储
桶中有一个文本
文件
,其中包含我需要解析并从中提取信息
的
S3
对象。我如
何在
java
中
做到这一点? 我不能在
Java
中
做到这一点。我只需要能够解析这个
JSON
文件
,并转
换为
csv
,并将此
CSV
文件
上传到亚马逊
S3
。
JSON
对象
的</e
浏览 236
提问于2021-10-12
得票数 0
回答已采纳
2
回答
如
何在
亚马逊
S3
中
读取
文件
内容
、
、
、
我
在
存储
桶ABCD
中
的
Amazon
S3
中
有一个
文件
。我有3个对象("folderA/folderB/folderC/abcd.
csv
"),它们是
文件
夹,
在
最后一个
文件
夹
中
,我有一个.
csv
文件
(abcd.
csv
)。我使用了一个逻辑
将其
转<em
浏览 1
提问于2014-12-05
得票数 8
回答已采纳
1
回答
Azure函数将
csv
转
换为
excel
文件
、
我需要从azure sql server
中
读取
数据,
并
使用数据工厂
在
excel blob中进行写入。我使用数据复制活动从azure sql server创建了
csv
文件
。我不知道如何将
csv
转
换为
excel,也不知道如何使用数据工厂从azure sql直接
读取
excel。我在网上搜索,发现天蓝色功能是一种选择。对于通过Azure函数将
CSV
保存到XLSX,有什么建议吗?
浏览 0
提问于2021-04-08
得票数 0
3
回答
Java
-
在
亚马逊网络服务
S3
存储
桶中直接将word转
换为
pdf,而无需
在
本地下载
、
、
、
我想知道我是否可以直接在亚马逊网络服务
S3
存储
桶中将word文档转
换为
pdf文档,这意味着不必下载到我
的
本地驱动器上… 我试着使用BytesArrayOutputStream,但没有任何运气.. thx
浏览 43
提问于2021-06-25
得票数 0
1
回答
从
s3
桶将
文件
写入本地后返回状态
、
、
尝试从
s3
桶
中
获取
文件
并
将其
存储
在
本地,一旦它写入本地,从本地
读取
文件
并将数据转
换为
json
格式并发送。我需要检查
文件
是否下载
并
写入本地,一旦
文件
存在,只需
读取
并
将其
转
换为
json
,否则发送错误消息。 一旦
文件
打开,我正在写
文件
并
结束。因此
浏览 0
提问于2018-11-27
得票数 1
回答已采纳
3
回答
使用pyarrow从
s3
读取
csv
文件
、
、
我想要
读取
位于
s3
存储
桶
中
的
csv
文件
,使用pyarrow
将其
转
换为
镶木到另一个
存储
桶。我在从
s3
读取
csv
文件
时遇到问题。我尝试
读取
以下代码,但failed.Does pyarrow支持从
s3
读取
csv
?) 抛出错误"errorMessage":“无法打
浏览 19
提问于2019-12-24
得票数 2
2
回答
如何将红移表数据卸载到excel格式
的
s3
存储
桶
中
、
我有表
存储
在
s3
中
,我想和我
的
同事分享excel格式
的
数据。我知道如何分享
在
csv
格式,但不是excel格式。请帮帮忙。
浏览 29
提问于2021-06-03
得票数 1
1
回答
读写亚马逊
s3
桶
中
的
文件
、
、
、
、
我需要从
Amazon
存储
桶
中
读取
一个大型(>15
S3
)
文件
(比如sample.
csv
)。然后,我需要处理sample.
csv
中
显示
的
数据,
并
继续
将其
写入
S3
桶
中
的
另一个目录。我打算使用AWS函数来运行我
的
java
代码。 作为第一步,我开发了运行在本地系统上
的
浏览 0
提问于2019-06-12
得票数 4
1
回答
Azure数据工厂
S3
源
CSV
文件
到
JSON
、
我感兴趣
的
是使用ADF从
S3
中
提取数据。我
的
目的是从
S3
获取
CSV
数据,
将其
转
换为
JSON
,
并
使用ADF
中
的
REST目标
将其
发送到HTTP。我很好奇,
在
Azure中导入/处理过程
中
,是否有可能将数据转换成
JSON
? 或者我被迫首先导入数据,
将其
存储
在</em
浏览 14
提问于2021-12-09
得票数 0
1
回答
我无法使用lambda函数从
S3
存储
桶
中
读取
dat
文件
、
、
我一直
在
尝试从一个
s3
存储
桶
中
读取
dat
文件
,并
将其
转
换为
CSV
,然后
将其
压缩
并
放入另一个
存储
桶
中
,以便打开和
读取
。我正在使用以下代码,但它抛给我一个错误:没有这样
的
文件
或目录 with open(f'
s3
://{my_bucket}/{filename
浏览 2
提问于2020-04-13
得票数 0
2
回答
在
AWS中将
CSV
转
换为
XLSX
我想知道如何将
csv
文件
转
换为
XLSX。我想为通知设置更新修补程序报告,但该
文件
为
csv
格式。 有人有解决方案吗?
浏览 13
提问于2021-08-27
得票数 1
3
回答
从
Amazon
DMS到
S3
再到Redshift
的
ETL数据
、
、
、
、
我目前正在
S3
中
构建一个数据湖,并且已经成功地使用DMS将数据从mysql迁移到
S3
。
在
DMS
中
,我选择了“迁移现有数据
并
复制正在进行
的
更改”选项。我将数据转
换为
csv
,但将来可能会选择拼花。此方法创建一个初始
csv
文件
,其中包含来自数据库表
的
所有原始数据。然后,它创建具有插入、删除和更新功能
的
后续
csv
文件
。 现在我正在寻找一
浏览 1
提问于2017-11-12
得票数 0
2
回答
将熊猫数据写入
S3
桶(AWS)
、
、
、
、
我有一个AWS函数,它查询API
并
创建一个数据
文件
,我想将这个
文件
写到一个
S3
桶
中
,我使用:import s3fs 我收到了一个错误: 没有这样
的
文件</
浏览 6
提问于2020-04-16
得票数 9
回答已采纳
2
回答
Python是如何与上传
的
文件
进行具体交互
的
?
、
、
我试图做以下工作:当我
在
我
的
s3
存储
中上传一个
文件
时,lambda会选择这个
json
文件
并
将其
转
换为
csv
文件
。import pandas as pd df.to_
csv
浏览 3
提问于2022-10-13
得票数 0
回答已采纳
2
回答
对AWS
的
大
CSV
文件
处理建议
、
需要一些关于服务
的
建议,在下面的情况下,我可以
在
AWS上使用。order_id, customer_id, item_id, payment_method, amount 1, 1, 1,,而不需要对进行排序,我正在开发一个系统,它可以将60个
文件
中
浏览 3
提问于2021-08-07
得票数 0
1
回答
在
Django
中
读取
CSV
文件
并以
JSON
格式
存储
数据
、
、
、
我
在
django项目的media
文件
夹中有一个
CSV
文件
。我希望从
CSV
文件
中
读取
数据并以
JSON
格式
将其
直接
存储
在数据库
中
,或者
将其
从
CSV
文件
转
换为
JSON
,然后
将其
存储
,
并
使我能够
在
我
的
Django
浏览 14
提问于2019-04-26
得票数 0
1
回答
使用雅典娜
在
s3
桶
中
划分
csv
数据以进行查询
、
、
我
在
一个
s3
桶
中
每小时都有
csv
日志数据,我希望对它进行分区,以提高查询性能,并
将其
转
换为
parquet。注意: 我想把
csv
文件
分别转换成
浏览 3
提问于2020-05-08
得票数 0
2
回答
将数据从亚马逊redshift卸载到亚马逊
s3
、
、
、
我正在尝试使用以下代码将数据卸载到
S3
存储
桶
中
。这是可行
的
,但在卸载后抛出一些错误。它正在
存储
桶
中
创建一个
文件
。但是它给了我一些错误 dataengine.impl.DSISimpleRowCountResult cannot be cast tocom.
amazon
.dsi.dataengine.interfaces.IResultSet com.
浏览 3
提问于2018-09-02
得票数 0
1
回答
AWS Lambda避免递归触发器
、
、
我正在从API下载数据并
将其
写入我
存储
在
S3
桶
中
的
csv
文件
。然后,我将
文件
从这个输入桶复制到一个带有Lambda函数
的
输出桶
中
。从输出桶
中
,我使用另一个Lambda函数
将其
摄取到一个MySQL RDS实例
中
。 当我
在
桶
中
创建一个新对象时,复制到另一个桶和上传到RDS
的
lambda函数都会被触
浏览 4
提问于2021-03-07
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python笔记-数据加载、存储与文件格式(2)
Python按需提取JSON文件数据并保存为Excel表格
数据湖和SQL并不矛盾
对 PyTorch BERT 模型进行微调,并将其部署到 Amazon SageMaker 上的 Amazon Elastic Inference
如何在Weka中加载CSV机器学习数据
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券