腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将
csv
文件
从
pypark
数据
帧
保
存到
s3
存储
桶
中
dataframe
、
amazon-s3
、
pyspark
我想将spark
数据
帧
的内容保
存到
s3
存储
桶
中
的
csv
文件
中
: df_country.repartition(1).write.
csv
('s3n://bucket/test/
csv
/a',sep=",",header=True,mode='overwrite') 问题是它创
浏览 12
提问于2019-06-25
得票数 0
回答已采纳
1
回答
Sage maker notebook
中
的雅典娜查询。如何获取输出
文件
的位置以实现可重用性?
python
、
amazon-web-services
、
amazon-athena
、
amazon-sagemaker
我的查询成功了: from pyathena import connectconn = connect(s3_staging_dir='
s3
://alphabucket我正在寻找API,
将
返回给我的结果
文件
。conn)print(file) # -->
s3
://alpha
浏览 35
提问于2021-07-24
得票数 0
1
回答
获取spark
数据
帧
写入的
文件
名
python
、
dataframe
、
amazon-s3
、
pyspark
、
filenames
我使用下面的代码
将
spark
数据
帧
写入
s3
存储
桶
中
。. \在这里,我想要获取正在写入
s3
bukcet的
文件
的名称,并希望将该
文件
用作后面代码部分的一部分。我已经解决了上面的问题,因为我们不能在
将
数据</
浏览 0
提问于2018-06-18
得票数 1
1
回答
pyspark
数据
帧
与垃圾
数据
一起保存在
s3
存储
桶
中
python
、
amazon-s3
、
pyspark
当尝试
将
s3
存储
桶
保
存到
csv
并尝试直接保存
存储
桶
时,
文件
正在保存,但它包含垃圾
数据
。所有
文件
大小都是1B。我哪里做错了,请帮帮我。python代码也试一下
浏览 1
提问于2021-09-03
得票数 0
1
回答
如何
从
S3
存储
桶
中
读取上次修改的
csv
文件
?
csv
、
amazon-s3
、
pyspark
、
pyspark-sql
、
aws-glue
我来找你,看看你是否有一个专业的技巧,
将
胶水作业生成的最新
csv
文件
加载到
S3
存储
桶
中
,以便加载到jupyter笔记本
中
。 '
s3
:
浏览 10
提问于2019-11-05
得票数 0
回答已采纳
1
回答
使用Glue
从
S3
桶
中转换
CSV
文件
,并将转换后的
数据
保存回另一个
S3
桶
amazon-web-services
、
amazon-s3
、
aws-glue
目的是使用Glue
将
数据
(
csv
文件
)从一个
S3
桶
转换为另一个
S3
桶
。I创建了
CSV
分类器,i创建了一个爬虫来扫描
S3
桶
中
的
数据
。。我被困的地方:因为G
浏览 1
提问于2020-09-09
得票数 0
回答已采纳
1
回答
如何合并
S3
存储
桶
中
的
CSV
文件
并使用AWS Glue将其保存回
S3
amazon-web-services
、
amazon-s3
、
aws-glue
、
aws-glue-data-catalog
、
aws-glue-spark
目标是使用胶水
将
数据
(
csv
文件
)从一个
S3
存储
桶
转换到另一个
S3
存储
桶
。我创建了一个
CSV
分类器。我创建了一个爬虫来扫描
S3
存储
桶
中
的
数据
。我被卡住的地方: 如果不将输出保
存到
任何关系
数据
库服务或其他
数据
库服务
中
,则无
浏览 1
提问于2020-09-10
得票数 0
1
回答
AWS Lambda、
S3
和pandas -
将
CSV
加载到
S3
中
,触发Lambda,加载到熊猫
中
,放回
桶
中
?
python
、
pandas
、
amazon-web-services
、
amazon-s3
、
aws-lambda
我希望能够做的是
将
电子表格加载到
s3
存储
桶
中
,基于上传触发lambda,让lambda
将
csv
加载到
s3
中
并使用它进行操作,然后
将
数据
帧
写回
csv
到第二个
csv
存储
桶
中
。我还了解了如何在
将
文件
上传到
S3
存储
桶</e
浏览 2
提问于2018-01-17
得票数 5
4
回答
在亚马逊网络服务中将pickle
文件
写入
s3
存储
桶
python
、
pandas
、
amazon-web-services
、
amazon-s3
我正在尝试
将
一个熊猫
数据
帧
作为一个pickle
文件
写入到亚马逊网络服务的
s3
存储
桶
中
。我知道我可以
将
dataframe new_df作为
csv
写入到
s3
存储
桶
中
,如下所示: bucket='mybucket's3_r
浏览 39
提问于2018-03-06
得票数 24
回答已采纳
4
回答
如何在Python中使用Pandas
从
s3
存储
桶
中
读取
csv
文件
python
、
amazon-web-services
、
pandas
、
amazon-s3
我正在尝试使用以下代码
将
位于亚马逊网络服务
S3
存储
桶
中
的
CSV
文件
作为pandas
数据
帧
读取到内存
中
:import boto data = pd.read_
csv
('
s3
:/example_bucket.s3-website-ap-southeast-2.amazonaws.com/data_1.
cs
浏览 1
提问于2015-06-13
得票数 18
2
回答
如何
将
文件
名自动提取到
数据
框
中
,而不是手动指定
apache-spark
、
pyspark
我正在尝试用Scala或python自动化我的spark代码,这就是我想要做的
从
s3
存储
桶
中
,spark代码应该能够选择
文件
名并创建
数据
帧
example Dataframe=sqlContext.read.format("com.databricks.spa
浏览 0
提问于2016-02-04
得票数 1
3
回答
使用pyarrow
从
s3
读取
csv
文件
pandas
、
aws-lambda
、
pyarrow
我想要读取位于
s3
存储
桶
中
的
csv
文件
,使用pyarrow将其转换为镶木到另一个
存储
桶
。我在从
s3
读取
csv
文件
时遇到问题。我尝试读取以下代码,但failed.Does pyarrow支持
从
s3
读取
csv
?) 抛出错误"errorMessage":“无法打开本地
文件
'
s3
:
浏览 19
提问于2019-12-24
得票数 2
1
回答
Spark
数据
帧
滤波器优化
scala
、
apache-spark
、
apache-spark-sql
我正在从
s3
存储
桶
中
读取大量
文件
。 在读取这些
文件
之后,我想对
数据
帧
执行过滤操作。 但在执行过滤操作时,会再次
从
s3
存储
桶
下载
数据
。如何避免
数据
帧
重新加载?在过滤操作之前,我已经尝试过缓存和/或持久化
数据
帧
。但是,
数据
还是
从
s3
<
浏览 6
提问于2019-09-05
得票数 0
1
回答
将
文件
从
S3
存储
桶
读取到PySpark
数据
帧
Boto3
apache-spark
、
amazon-s3
、
pyspark
、
boto3
如何
将
S3
存储
桶
中
的大量
文件
加载到单个PySpark
数据
帧
中
?我在一个EMR实例上运行。如果
文件
是本地的,我可以使用SparkContext textFile方法。但是当
文件
在
S3
上时,我如何使用boto3加载多个不同类型的
文件
(
CSV
,JSON,...)转换成一个单独的
数据
帧
进行处理?
浏览 0
提问于2018-05-29
得票数 3
回答已采纳
1
回答
我如何使用Pyspark
将
doc/docx/docm
文件
保
存到
目录或
S3
桶
中
?
csv
、
apache-spark
、
pyspark
、
docx
我试图
将
数据
帧
保
存到
文档
中
,但它返回时表示以下错误 f_data.write.format("docx").save("dbfs:/FileStore/test/test.
csv
") displ
浏览 8
提问于2022-12-02
得票数 0
2
回答
将
数据
帧
从
SageMaker上传到亚马逊网络服务
S3
存储
桶
python
、
pandas
、
amazon-web-services
、
amazon-s3
、
amazon-sagemaker
我是AWS环境的新手,正在尝试解决
数据
流的工作方式。在成功地
将
CSV
文件
从
S3
上传到SageMaker notebook实例后,我坚持执行相反的操作。我有一个
数据
帧
,并想上传到
S3
存储
桶
作为
CSV
或JSON。我拥有的代码如下: bucket='bucketname'data_lo
浏览 24
提问于2019-06-28
得票数 7
回答已采纳
1
回答
Pyspark over zeppilin:无法导出为
csv
格式?
pyspark
、
export-to-csv
、
apache-zeppelin
我正在尝试
将
数据
帧
导出到
S3
存储
桶
的.
csv
文件
中
。 不幸的是,它保存在拼图
文件
中
。 谁能让我知道,如何得到出口火花源
数据
帧
到.
csv
文件
。我尝试了下面的代码: predictions.select("probability").write.format('
csv
').<
浏览 15
提问于2019-02-11
得票数 2
回答已采纳
1
回答
如何
从
S3
存储
桶
下载
文件
?
amazon-web-services
、
flutter
、
amazon-s3
、
agora.io
我的要求是
从
s3
存储
桶
中下载
文件
,我尝试
将
存储
桶
公开,然后使用该
s3
URL成功下载
文件
, 我正在使用Agora Cloud Recording对每个屏幕进行录制Agora成功地
将
视频保
存到
s3
存储
桶
中
,然后我需要从
s3
下载
文件
。Agora建议公开
存储
<em
浏览 25
提问于2020-07-28
得票数 0
1
回答
AWS Sagemaker - df.to_
csv
error write()参数%1必须是unicode,而不是字符串
python
、
pandas
、
amazon-web-services
、
amazon-s3
、
amazon-sagemaker
我正在尝试
从
sagemaker实例
将
文件
保
存到
S3
存储
桶
中
。下面这行抛出了一个错误!df.to_
csv
("
s3
://informatri/Drug_Data_Cleaned.
csv
"), index = False) error - <ipython-inpu
浏览 15
提问于2020-11-05
得票数 1
回答已采纳
1
回答
使用Informatica powercenter在亚马逊
S3
存储
桶
中
创建
文件
夹模式
amazon-s3
、
informatica
、
informatica-powercenter
我们需要使用Informatica powercenter 10.2 Hotfix 1
将
数据
从
teradata实现到亚马逊
S3
存储
桶
层
中
,所以我们的想法是
将
目标
文件
放在
S3
存储
桶
中
的动态
文件
夹
中
,如
s3
://amazon.s3.bucket/YYYYMM/Schema
浏览 0
提问于2021-06-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
浅谈云上攻防——Web应用托管服务中的元数据安全隐患
AWS发布新服务Amazon S3 Storage Lens
“理想解决方案”:Daltix的自动化数据湖归档节省了10万美元
将示波器信号完整数据导入Matlab进行分析
【大数据】Hive 分区和分桶的区别及示例讲解
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券