腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
获取spark数据帧
写入
的
文件名
python
、
dataframe
、
amazon-s3
、
pyspark
、
filenames
我使用下面的代码
将
spark数据帧
写入
s3
存储
桶中。. \在这里,我想要获取正在
写入
s3
bukcet的
文件
的名称,并希望将该
文件
用作后面代码部分的一部分。我已经解决了上面的问题,因为我们不能在
将
数据帧
写入
s3
<
浏览 0
提问于2018-06-18
得票数 1
1
回答
将
文件
写入
csv
和
存储
到
S3
时
无法
更改
文件名
amazon-web-services
、
amazon-s3
、
pyspark
、
etl
、
aws-glue
所以我一直在AWS glue上工作,我在pyspark中创建了一个ETL作业,它从数据目录中读取数据并
写入
,
csv
被
存储
在
S3
存储
桶中。但每次作业运行时,它都会创建具有不同名称的不同
文件
,而我希望在每次作业运行时覆盖相同的
文件
。我找不到它的正确代码。有没有办法覆盖同一个
文件
(在
S3
中启用了版本控制)。", connection_options = { "path": "
s3
浏览 37
提问于2021-05-07
得票数 0
1
回答
将
数据从
S3
文件
复制
到
aws postgresql:参数无效?
postgresql
、
amazon-web-services
、
amazon-s3
、
amazon-rds
我试图
将
AWS
S3
文件
的内容复制
到
AWS RDS Postgresql表中,但似乎语法错误?从‘
s3
://
存储
桶名称/
文件名
.
csv
’(格式
CSV
,分隔符E'\t',编码‘utf-8’)复制myschema.mytable; 返回以下错误:错误:
无法
打开
文件
"
S3
://bucket-name/
浏览 17
提问于2019-01-31
得票数 0
1
回答
使用
S3
作为AWS DMS的目标:上载的
文件名
不变
amazon-web-services
、
aws-dms
我们使用DMS从SQL Server中获取数据并将其加载到
S3
存储
桶中,之后数据最终使用Snowpipe加载到Snowflake DB中进行完整加载。现在,为了让雪花管道知道
S3
存储
桶中有新的数据,
文件名
需要与上一个不同。我尝试了所有可用的任务设置选项(DROP_AND_CREATE、DO_NOTHING、TRUNCATE),以使
文件名
不同,但仍然不起作用。它将
文件名
加载为LOAD00000001.
csv
在文档中,它显示
文件名
将是递
浏览 0
提问于2018-08-16
得票数 1
2
回答
重命名
写入
的
CSV
文件
Spark
apache-spark
、
amazon-s3
、
apache-spark-sql
、
spark-dataframe
我运行的是spark 2.1,我想把结果写成一个
csv
到
亚马逊
S3
。在重新分区后,
csv
文件
有一个很长的加密名称,我想将其
更改
为一个特定的
文件名
。 .repartition(1) .format("com.databricks.spark.
csv
") .option("header&
浏览 1
提问于2017-06-26
得票数 3
回答已采纳
1
回答
Python函数根据
文件名
对不同的
CSV
文件
执行一些操作
python
、
amazon-s3
、
aws-lambda
我必须打开并执行三个不同的
CSV
文件
的逻辑,我要上传到
S3
。位置:我的桶/配置/我试图使用python纠正lambda函数,以便在上传这些
文件
时
触发lambda函数,然后根据上传
文件
的名称,我应该能够识别必须
写入
的逻辑。我所需要知道的就是如何纠正'if‘条件,以匹配
浏览 2
提问于2020-02-04
得票数 0
回答已采纳
4
回答
在亚马逊网络服务中将pickle
文件
写入
s3
存储
桶
python
、
pandas
、
amazon-web-services
、
amazon-s3
我正在尝试
将
一个熊猫数据帧作为一个pickle
文件
写入
到
亚马逊网络服务的
s3
存储
桶中。我知道我可以
将
dataframe new_df作为
csv
写入
到
s3
存储
桶中,如下所示: bucket='mybucket's3_resource = boto3.re
浏览 39
提问于2018-03-06
得票数 24
回答已采纳
2
回答
将
报告数据临时
存储
到
亚马逊网络服务DynamoDB?这是一个可行的解决方案吗?
amazon-web-services
、
amazon-dynamodb
、
reporting
大部分数据都是扁平的(只有行
和
列)。通常,记录大小在100秒左右,有时在1000秒左右,很少在10,000秒左右。 这是个好主意吗?表演会是什么样的呢?
浏览 0
提问于2017-10-04
得票数 2
1
回答
对我的亚马逊网络服务
S3
存储
桶中其他人创建的对象的访问权限被拒绝
amazon-web-services
、
amazon-s3
我们有一个
将
文件
写入
亚马逊
S3
存储
桶的应用程序。我
无法
将
文件
下载或复制
到
不同的
存储
桶。我收到access denied错误。
文件
的所有者是其他人,但是
存储
桶归我们所有。该人员
无法
访问,并且不在组织中。如何访问
文件
并
更改
访问权限或
更改
文件
的所有者? 我尝试将对象从源
存储
桶复制<
浏览 14
提问于2019-09-19
得票数 0
3
回答
无法
通过SSMS打开DataFile SSIS包
csv
、
ssis
、
flat-file
、
ssms-2012
部署
到
SSMS包中,
将
文件
写入
网络
文件
服务器中的
CSV
文件
。包的平面
文件
目标的默认名称是从表达式派生的$path\workcsvout.
csv
包
文件名
Troubleshooting 验证
浏览 6
提问于2015-11-19
得票数 0
回答已采纳
3
回答
将
R数据作为
csv
直接
写入
s3
r
、
csv
、
amazon-web-services
、
amazon-s3
我希望能够
将
data.frame\ data.table对象中的数据作为
csv
文件
直接
写入
到
AWS
s3
中的
存储
桶中,而无需首先使用AWS CLI将其
写入
磁盘。obj.to.write.s3 <- data.frame(cbind(x1=rnorm(1e6),x2=rnorm(1e6,5,10),x3=rnorm(1e6,20,1))) 此时,我首先
写入
csv
,然后上传到现有
存储
桶,然后使用以
浏览 1
提问于2015-05-07
得票数 19
1
回答
如何从amazon
s3
加载模板
文件
并将其加载到openpyxl工作簿中
python-3.x
、
amazon-s3
、
aws-lambda
、
openpyxl
、
xlsx
我正在设置一个无服务器的python应用程序,使用aws lambda
和
python
将
csv
文件
转换为excel。我已经使用boto3成功地
将
csv
数据读取到我的应用程序中。现在,我想将内容
写入
excel模板
文件
浏览 3
提问于2019-10-01
得票数 0
1
回答
如何在使用Lamda从
S3
处理
csv
文件
时
将
响应返回到前端?
amazon-web-services
、
amazon-s3
、
aws-lambda
、
aws-api-gateway
、
aws-serverless
新的AWS Lambda,科尼图,AWS API网关
和
无服务器计算.
浏览 6
提问于2020-06-22
得票数 0
1
回答
使用Informatica powercenter在亚马逊
S3
存储
桶中创建
文件
夹模式
amazon-s3
、
informatica
、
informatica-powercenter
我们需要使用Informatica powercenter 10.2 Hotfix 1
将
数据从teradata实现
到
亚马逊
S3
存储
桶层中,所以我们的想法是
将
目标
文件
放在
S3
存储
桶中的动态
文件
夹中,如
s3
://amazon.s3.bucket/YYYYMM/Schema/File.
csv
我想动态传递
文件
的
s3
<em
浏览 0
提问于2021-06-17
得票数 0
2
回答
如何返回Spark/HDFS中读取
文件
的
文件名
/
文件
路径?
apache-spark
、
hadoop
、
apache-spark-sql
、
hdfs
我想要自动处理每日上传的
文件
使用临时电子病历集群。我在
S3
上的
文件
是使用这样的日期键进行分区的:2022-07-28-stats.
csv
...每天,我从
S3
上传一个
文件
到
‘hdfs://raw/’,并且在
文件
‘hdfs://raw/**..
csv
’中使用*作为Spark脚本中读取的
文件
,这样我就
浏览 15
提问于2022-07-27
得票数 -2
1
回答
从极光mysql向sqs发送消息
java
、
aws-lambda
、
amazon-sqs
、
amazon-aurora
、
aws-aurora-serverless
我在中间有两个lambdas
和
一个SQS队列。第一个lambda的目的是从aurora MySQL中选择产品ids并发送到SQS。有超过700万的产品ids。当第一个lambda向SQS发送这些产品ids
时
,我启用了一个触发器,该触发器调用了我的第二个lambda。我面临的问题是,由于lambda的时间限制,我的第一个lambda
无法
在1次调用中将所有产品I发送到队列。我测试了它,对于1次调用,它只能向SQS发送100 k记录。即使我在lambda中设置了一个限制
和
偏移量,但在第一次调用之后,我将不得不
更改</em
浏览 2
提问于2021-03-05
得票数 2
回答已采纳
1
回答
查询Spark上的Hive以获得最高性能的正确方法是什么?
apache-spark
、
hive
、
pyspark
、
hadoop-yarn
、
parquet
我在Hive中有一个相当大的表(约130M条记录,180列),我正尝试使用Spark将其打包为拼图
文件
。data = hiveCtx.sql("select * from my_table") data.repartition(20).write.mode('overwrite').parquet("
s3
浏览 0
提问于2017-03-21
得票数 2
3
回答
如何从
S3
存储
桶中读取
CSV
文件
,对其应用特定的if语句,并
写入
新的更新
CSV
文件
并将其放入
S3
存储
桶中?
python
、
amazon-web-services
、
csv
、
amazon-s3
、
aws-lambda
我在
将
新的
CSV
文件
写入
S3
存储
桶
时
遇到了问题。我希望能够读取
S3
存储
桶中的
CSV
文件
,如果
CSV
中的某个值符合特定要求,我希望将其
更改
为不同的值。我读到过不可能编辑
S3
对象,所以每次都需要创建一个新对象。简而言之,我想从
S3
存储
桶中的另一个
CSV
文件
创建一个新的、更新的<e
浏览 0
提问于2019-08-01
得票数 2
1
回答
如何为SageMaker批处理转换作业的输出
文件
指定名称?
python
、
pandas
、
amazon-sagemaker
目前,这使用了一些输入数据
和
预先培训的模型。作业的编排是在lambda中使用boto3 python库完成的。第一件事是通过参数
将
文件名
应用到pandas.to_
csv
()函数。但是,只进行此
更改
,SageMaker就会失败,并出现以下错误: 我还尝试
将
文件名
应用于output_path参数,该参数是对象的一部分。这只是为了指定<
浏览 3
提问于2019-11-05
得票数 2
2
回答
五角壶的
S3
GET失败
amazon-s3
、
pentaho
、
kettle
使用AWS密钥,可以看到
S3
上的
存储
桶,但不能获取
文件
。有人能帮帮忙吗?by buildguy) : org.pentaho.di.core.exception.KettleException: 2016/07/03 21:32:20 -
S3
CSV
Input.0
CSV
Input.0 -
S3
GET failed for '&
浏览 7
提问于2016-07-03
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫入门6 将爬回来的数据存到本地
Python搭建ftp服务
CSV文件在Python中的几种处理方式
用python打造自己的网站日志分析工具(二)
我们怎样将官网的加载时间缩短1.7秒?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券