腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(99)
视频
沙龙
1
回答
使用
亚马逊
S3
400
ExcessHeaderValues
的
gsutil
rsync
Google
Store
、
、
、
、
我正在尝试同步两个存储桶,一个在
Google
Store
中,另一个在
S3
中,为此我
使用
gsutil
。aws_secret_access_key = XXX host = s3.eu-central-1.amazonaws.com use-sigv4 = True 我
的
问题是,
使用
这个配置,即使是从
Google
Store
到本地文件夹
的
同步也不起作用!
gsutil
-m
浏览 18
提问于2019-05-17
得票数 0
回答已采纳
1
回答
从
Google
Bucket到
S3
的
大文件
RSYNC
/ CP失败
、
、
、
、
我有一个
Google
Ubuntu实例成功地认证/连接到一个
Google
bucket和一个
亚马逊
S3
Bucket。我可以
使用
ubuntu实例复制/移动/编辑每个存储桶中
的
小文件/文件夹,并且可以直接上传到AWS web界面小文件没有问题,但是任何超过几百兆字节
的
文件都会在Ser
浏览 1
提问于2019-05-17
得票数 0
2
回答
Google
云平台迁移到
S3
/Redshift
、
、
、
在Python语言中有没有通过编程
的
方式在
S3
中从谷歌云平台获取数据?我
的
最终目标是将
Google
Big Query中
的
数据放到Redshift中。
浏览 9
提问于2019-03-11
得票数 1
回答已采纳
2
回答
如何在没有任何手动操作
的
情况下将数据从谷歌云存储传输到
S3
?
、
我想要将数据从我
的
云存储桶传输到
S3
。我做了很多研究。我发现了一篇有趣
的
文章,其中可以
使用
gsutil
命令完成此操作。同样,它需要手动活动。有没有办法做到这一点,而不需要任何手动操作,或者可以通过Java API运行这个
gsutil
命令? 我已经在我
的
谷歌云项目上创建了一个虚拟机实例。我已经配置了boto文件,其中包含我
的
AWS credentials.Using
gsutil
命令。我可以将数据从云存储复制到
s3
。我
浏览 20
提问于2019-07-04
得票数 2
回答已采纳
1
回答
是否可以将AWS
的
转码服务与
Google
Storage一起
使用
?
、
我有一个建立在谷歌服务之上
的
系统,然而
亚马逊
网络服务似乎有一个很棒
的
视频实用程序(和)设置。是否可以将我用户
的
视频从GCP发送到AWS,然后再发送回来?
浏览 4
提问于2020-02-26
得票数 1
2
回答
从aws
s3
到gcloud之间进行
rsync
的
最佳方法是什么?
、
、
、
我必须从
s3
到
google
的
所有桶中执行
rsync
(不仅仅是复制或移动)。我需要创建与谷歌相同
的
s3
基础结构。我喜欢
s3
中
的
2 2Tera,每天都会收到新
的
文件。我今天
的
解决办法是但是这个解决方案要慢一些。 你有更快
的
浏览 0
提问于2015-06-19
得票数 2
2
回答
GSUtil
rsync
在
S3
存储桶上给出一个
400
不可重试
的
异常
、
、
我正在
使用
gsutil
rsync
,从
s3
复制到gs,并且在
gsutil
完成了存储桶
的
一部分之后,我得到了以下错误:这是不受欢迎
的
行为,因为我可以手动从
s3
复制到gs其他文件。我不能通过
浏览 3
提问于2015-02-18
得票数 3
1
回答
保存从AWS
S3
到非AWS位置
的
Cassandra备份
的
好选择是什么?
、
、
、
、
我已经在AWS
S3
上备份了Cassandra数据库。备份每天都在创建,并保存在
S3
上。现在我正在寻找第二个云存储,在那里我可以定期从AWS
S3
中保存C*备份
的
副本。基本上,它只是从AWS
S3
复制文件(大小约为500 GB ),并定期将其保存在云中
的
某个地方作为第二个备份。我正在寻找实现这一目标的最佳选择。成本效益、灵活性和开发人员友好性方面的最佳选择。我需要能够编写一个脚本,它将从AWS
S3
复制最新
的
C*备份,并将其保存到第二个云存储中。此脚本
浏览 0
提问于2014-06-05
得票数 1
回答已采纳
4
回答
从
Google
存储桶复制到
S3
存储桶
、
、
、
、
我已经建立了一个气流工作流,它从
s3
到
Google
存储吸收一些文件,然后运行一个sql查询工作流,以便在大查询上创建新
的
表。在工作流
的
末尾,我需要将最后一个大查询表
的
输出推送到,然后从那里推到
S3
。我已经破解了
使用
BigQueryToCloudStorageOperator python运算符将大查询表传输到
Google
的
过程,没有出现任何问题。然而,似乎从到
S3
的
转移是一条不那么累赘
的</
浏览 4
提问于2018-01-09
得票数 3
回答已采纳
4
回答
从谷歌云存储到
s3
的
gsutil
rsync
在大文件上挂起
、
、
在尝试
使用
以下命令将我
的
谷歌云存储存储桶备份到
亚马逊
网络服务
s3
存储桶时,我遇到了一个较大文件(560MB)挂起
的
问题:我知道连接很好,因为它复制了大约150个较小
的
文件(9MB),然后挂起在较大
的
文件上,
浏览 0
提问于2019-05-07
得票数 1
7
回答
将数据从导出到
亚马逊
S3
、
、
我希望将数据从BigQuery中
的
表传输到Redshift中
的
另一个表中。我计划
的
数据流如下:我知道谷歌云存储传输服务,但我不确定它是否能帮助我。来自
Google
文档: 此页面描述云存储传输服务,您可以
使用
该服务快速将联机数据导入。 我知道这个服务可以用来将数据导入,而不是从它导出数据。有什么方法可以将数据从导出到
亚马逊
S3
?
浏览 13
提问于2016-09-05
得票数 41
回答已采纳
1
回答
与
s3
桶进行
gsutil
rsync
会导致InvalidAccessKeyId错误。
、
、
、
我正在尝试将所有数据从AWS
S3
桶复制到GCS桶中。Acc.对于,
rsync
命令应该能够做到这一点。但是,当我尝试这样做时,我会收到以下错误CommandException: Caugh
浏览 38
提问于2022-03-14
得票数 1
1
回答
如何在Airflow中
使用
Airflow AWS连接凭据
使用
BashOprator将文件从AWS
s3
存储桶传输到GCS
、
、
、
因为我
使用
的
是两个云,所以我
的
任务是将进入
s3
存储桶
的
文件同步到gcs存储桶。为了实现这一点,我正在
使用
GCP composer (Airflow)服务,其中我正在安排这个
rsync
操作来同步文件。我
使用
Airflow connection (aws_default)来存储
亚马逊
网络服务访问密钥和秘密访问密钥。一切都很好,但问题是我能够在日志中看到凭证,这再次暴露了凭证,我不想在日志中显示它们。-m
rsync
-r
浏览 0
提问于2020-04-24
得票数 3
1
回答
从
s3
迁移到谷歌云存储和访问控制列表
、
、
我目前正在计划从
s3
迁移到
google
cloud storage(g-c-s)。我决定启动一个gce实例,并
使用
gsutil
对数百万个文件进行
rsync
。我想知道是否会保留这项许可。例如,如果一个文件在amazon上具有公共读权限,那么g-c-s上
的
s3
将是什么。谢谢
浏览 0
提问于2014-12-05
得票数 3
4
回答
直接从
S3
复制到谷歌云存储
我可以
使用
AWS SDK for Java和Azure SDk for Java将数据从Amazon AWS
S3
迁移到Azure。现在,我想
使用
Java将数据从Amazon AWS
S3
迁移到
Google
Cloud存储。
浏览 3
提问于2014-01-30
得票数 15
1
回答
将GCP对象存储数据迁移到AWS
S3
桶中
、
、
、
我们在中有字节
的
数据,我们希望将其迁移到AWS
S3
。做这件事最好
的
方法是什么?是否有任何第三方工具可以更好地代替直接转移?
浏览 0
提问于2020-07-20
得票数 1
回答已采纳
1
回答
您能从谷歌虚拟机访问AWS
S3
桶吗?
、
、
我们
使用
AWS
S3
桶作为客户文件
的
放置点。机器包含访问
S3
桶、读取一些文件、编写日志和输出所需
的
例程。有什么问题吗?有人在python/java/JavaScript中这样做过吗?我无法将文件复制到
Google
存储中,这既耗时太长,又打开了一个我只是不想处理
的
安全场景。大量
的
答案显示了迁移,但在我
的
例子中,我只是想让图像能够访问它。谢谢
浏览 1
提问于2021-04-15
得票数 1
回答已采纳
1
回答
为什么GCE上
的
命令在控制台终端上工作,而不是作为Cron作业工作?
、
我可以
使用
web控制台在我
的
实例上运行这个命令; root@instance-2:
gsutil
rsync
-d -r /my-path gs://my-bucket
浏览 2
提问于2017-09-23
得票数 0
1
回答
使用
aws-cli将对象从
S3
复制到谷歌云存储
、
、
、
是否可以
使用
aws CLI访问
Google
Cloud Storage?
Google
Cloud Platform支持通过以下命令行
使用
gsutil
将文件从
S3
复制到
Google
Cloud Storage。
gsutil
-m cp -R
s3
://bucketname gs://bucketname 但我需要
使用
aws CLI而不是
gsutil
来完成此操作。
浏览 2
提问于2017-11-03
得票数 1
1
回答
通过命令行验证
Google
云存储?
、
我想
使用
Google
Cloud Storage为我通过Docker自动构建
的
一个项目下载一些文件。为此,我希望完全通过命令进行身份验证,而无需打开浏览器窗口(类似于
使用
亚马逊
的
S3
使用
client_id和secret进行身份验证)。这个是可能
的
吗?有没有办法通过
gsutil
或API对
Google
Cloud Storage进行编程身份验证?
浏览 1
提问于2014-09-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
亚马逊新推SSO单点登录,是好是坏?
亚马逊新推SSO单点登录,支持拥有跨区域账户的卖家来回切换站点
被盯死的 4 大美国科技巨头
苹果被起诉了,App Store到底有没有垄断?
7月份GitHub上最热门的开源项目
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券