腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Google-cloud-composer
源
存储
桶
中
生成
的
数据
是什么
google-cloud-platform
、
google-cloud-composer
google-cloud-composer
的
源
存储
桶
中
的
数据
是什么
? 删除安全吗? 有没有办法隐藏它或者让它停止
生成
? 这让我
的
环境变得丑陋。 ?
浏览 30
提问于2020-11-10
得票数 0
回答已采纳
2
回答
如何将多个文件作为事务上载到google云
存储
桶
google-bigquery
、
google-cloud-storage
用例:为了防止bigquery表
的
部分导入,理想情况下,我想做以下工作: 确认所有文件已正确上传。将暂存
桶
重命名为其最终名称(例如,gs:/
浏览 4
提问于2013-01-30
得票数 3
1
回答
胶水管道
中
的
多个S3输入
amazon-web-services
、
amazon-s3
、
aws-glue
、
aws-data-pipeline
我在3个独立
的
S3
存储
桶
中有3个独立
的
数据
源
(文件)。这3个
源
中
的
模式彼此不同,但时间戳是相同
的
(以每小时为单位)。以前,我使用Glue从一个
存储
桶
中
读取
数据
,并将转换应用到该
存储
桶
中
的
文件,然后写入结果
存储
桶
中
。有了3个
浏览 5
提问于2021-08-06
得票数 0
2
回答
sdk回
源
怎么设置?
对象存储
、
官方文档
请描述您
的
问题 [附加信息]
浏览 147
提问于2018-05-02
1
回答
更改胶水作业脚本后,为什么目标
数据
没有更新?
amazon-web-services
、
aws-glue
、
aws-glue-data-catalog
我已经定义了一个glue job来将
数据
从s3
源
存储
桶
转换到s3目标
存储
桶
。我在作业中使用
的
脚本是Python。它运行良好,并将许多
数据
加载到目标
存储
桶
中
。但后来我更改了模式,更新了python脚本以删除一个字段(edited):重新运行作业后,到达s3
源</em
浏览 11
提问于2019-07-30
得票数 0
回答已采纳
1
回答
AWS Glue将文件从JSON转换为具有与
源
表相同分区
的
Parquet
amazon-web-services
、
bigdata
、
aws-glue
我们使用AWS胶水来转换
存储
在S3
数据
仓库
中
的
JSON文件。 姓名、年份、月份、日期、时间 使用这些进程,作业成功运行,但
浏览 1
提问于2018-02-12
得票数 8
1
回答
__type是未定义
的
CodeBuild项目创建
amazon-web-services
、
aws-codebuild
在创建具有两个
源
的
CodeBuild项目时:1个来自S3
存储
桶
,其他来自CodeCommit
存储
库,以及工件输出到S3
存储
桶
中
,CodeBuild项目创建在 e.__type is undefined 原因
是什么
?
浏览 11
提问于2020-09-03
得票数 0
回答已采纳
3
回答
使用S3Object
的
PutObject
java
、
amazon-web-services
、
amazon-s3
我正在跨不同
的
帐户复制一个S3对象。虽然我可以使用S3Object s3object = sourceClient.getObject(bucket, key)获取对象,但我如何上传相同
的
对象?
浏览 4
提问于2021-07-21
得票数 0
1
回答
使用雅典娜
的
多个S3
桶
的
清单
amazon-web-services
、
amazon-s3
、
hive
、
amazon-athena
如果我只有一个
源
桶
,我就能做到这一点。我不知道如何将其配置为与多个
源
存储
桶
一起工作。//options ignored因此,如果我想查询多个
源</e
浏览 0
提问于2019-04-23
得票数 3
回答已采纳
2
回答
多个列上
的
配置单元群集依据
hadoop
、
hive
、
buckets
我知道当hive表在一列上聚集时,它会对该
存储
桶
列执行哈希函数,然后将该行
数据
放入其中一个
存储
桶
中
。每个
存储
桶
都有一个文件,也就是说,如果有32个
存储
桶
,那么hdfs中就有32个文件。拥有多个列上
的
clustered by
是什么
意思?例如,假设表按(大陆,国家)聚类到32个
存储
桶
中
。将
浏览 8
提问于2015-06-16
得票数 8
回答已采纳
1
回答
复制后,Amazon S3 Java SDK copyObject权限被拒绝
java
、
amazon-web-services
、
amazon-s3
我们正在使用带有JDK copyObject方法
的
亚马逊S3将对象从一个
存储
桶
复制到另一个
存储
桶
。复制是自动
的
。User1手动上传文件到
源
存储
桶
,systemUser传输到目标
存储
桶
。User1是
源
存储
桶
和目标
存储
桶
的
所有者。s3.copyObject(sourceBucket, object
浏览 13
提问于2018-08-09
得票数 1
回答已采纳
3
回答
从一个帐户到另一个帐户
的
S3
数据
传输
amazon-web-services
、
amazon-s3
、
amazon-ec2
、
aws-cli
我可能会再问一遍,但是需要一些帮助,关于如何做到这一点,似乎有很多
数据
。但对我来说,问题是我没有从我这一端改变任何策略或任何东西
的
权限。我有一个s3
存储
桶
和一台ec2机器。请指导我如何从上述信息
中
获取这些
数据</
浏览 2
提问于2018-01-07
得票数 0
2
回答
无法在两个帐户之间进行亚马逊S3跨区域复制
amazon-web-services
、
amazon-s3
我有两个Amazon AWS帐户,每个帐户都有一个
存储
桶
,位于不同
的
区域。我想将
数据
从一个
存储
桶
复制到另一个
存储
桶
,据我所知,这应该是一个简单
的
创建过程。然而,我真的很挣扎,我不知道我做错了什么。我在网上遵循了很多说明,包括浏览各种AWS教程,看了很多示例,但我无法获得要复制
的
数据
。 我在两个
存储
桶
上都启用了版本控制,并且没有任何
数据
是加密<em
浏览 83
提问于2019-03-12
得票数 2
回答已采纳
1
回答
如何使用boto3在两个不同账户
的
S3
存储
桶
之间复制文件
python-3.x
、
amazon-web-services
、
amazon-s3
、
boto3
、
aws-sts
我尝试使用boto3将来自供应商
的
S3
存储
桶
中
的
文件传输到我
的
S3
存储
桶
中
。我正在使用sts服务来承担访问供应商s3
存储
桶
的
角色。我可以连接到供应商
存储
桶
并获得该
存储
桶
的
列表。当复制到我
的
存储
桶
时,我遇到了CopyObject operat
浏览 153
提问于2019-05-30
得票数 3
回答已采纳
1
回答
从BigQuery (联邦/外部查询)查询不同GCS
存储
类
中
的
文件/
数据
需要花费多少?
google-bigquery
、
google-cloud-storage
我有两个GCS
桶
与相同
的
,切分
的
CSV文件。
桶
联邦-查询-标准有standard
的
存储
类.
桶
联邦-查询存档有archive
的
存储
类。在
存储
桶
上使用联邦/外部
源
运行相同
的
查询会产生相同
的
字节数,即57.13GB
的
数据
量。性能(查询时间)大致相同。根据官方
的
BigQuery定价: “
浏览 1
提问于2020-06-23
得票数 3
回答已采纳
1
回答
具有特定前缀
的
自动复制
的
亚马逊S3标记?
amazon-web-services
、
amazon-s3
、
aws-lambda
、
replication
、
tagging
我为cross-region-replication.设置了两个S3
桶
每当
源
桶
中有带有特定前缀
的
上载时,我需要将各自
的
数据
复制到不同区域
的
“处理
桶
”
中
。但是,在复制过程之后,我至少需要了解一些有关原始
源
桶
的
信息,因为我希望设置多个
存储
桶
,包括使用同一个目标
桶
进行复制,而处理过程将通过lambda事件完成。我曾想过让它与标签一起工
浏览 1
提问于2020-05-26
得票数 1
回答已采纳
1
回答
使用AWS在S3
桶
中
传输文件
python-3.x
、
amazon-s3
、
aws-glue
是否有一种通过S3脚本使用AWS将文件从一个S3
桶
传输到另一个S3
桶
的
方法?
浏览 0
提问于2018-05-15
得票数 0
1
回答
AutoForge绘图对象不显示
autodesk-forge
我们使用演示帐户将AutoForge API集成到web应用程序
中
。所有API都按预期工作,但经过一段时间后,
存储
的
绘图对象不会显示在
桶
中
。
浏览 1
提问于2022-02-25
得票数 0
回答已采纳
3
回答
AWS CLI使用多个凭据同步S3
存储
桶
amazon-web-services
、
amazon-s3
、
aws-cli
我对
源
S3
存储
桶
具有只读访问权限。我无法更改此
源
帐户和
存储
桶
上
的
权限或任何类似内容。我不拥有这个帐户。 我希望将
源
存储
桶
中
的
所有文件同步到我
的
目标
存储
桶
。我拥有包含目标
存储
桶
的
帐户。对于我不拥有的
源
存储
桶
和我拥有的目标<e
浏览 2
提问于2016-08-08
得票数 8
3
回答
将
数据
从一个项目中
的
防火墙转移到另一个项目的gcp防火墙
firebase
、
google-cloud-platform
、
google-cloud-firestore
我希望在Firebase项目中将Firestore
中
的
数据
传输到另一个(仅限于GCP)项目中。文件ID在转移后会改变吗?
浏览 20
提问于2021-12-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
财政部:保护各类主体在依法收集、生成、存储、管理数据资产过程中的相关权益
【大数据】Presto(Trino)配置参数以及 SQL语法
浅谈云上攻防——Web应用托管服务中的元数据安全隐患
复制证明为什么要这么复杂?
FileCoin的复制证明和时空证明
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券