腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从一
个
存储
桶
到另一个
存储
桶
复制大量
文件
google-cloud-storage
我正在尝试编写一个过程,将大量
文件
从一
个
存储
桶
复制到另一个
存储
桶
。我从google-cloud-
python
普通版开始,它在大约3k
的
文件
中
崩溃了,大约有503个错误,然后我转移到批处理模式(仍然使用
python
库),在大约10k
的
文件
中
崩溃,因为操作花费了超过固定
的
30秒超时,然后当我试图使用blob.rewrite发现在<e
浏览 22
提问于2020-01-16
得票数 0
1
回答
如
何在
Python
中
从一
个大
的
Json
文件
中
创建
存储
桶
?
python
、
json
、
mongodb
、
bucket
、
ijson
我有以下本地
Json
文件
(大约90MB): ? 为了使我
的
数据可访问,我希望
创建
更小
的
Json
文件
,这些
文件
包含完全相同
的
数据,但每次在Readings.SensorData
中
只包含100个数组条目。因此,一个包含前100个读数
的
文件
,然后一个包含101-200读数
的
文件
,以此类推……我知道ijson库,但我不知道如何以最有效
的</
浏览 40
提问于2020-04-23
得票数 1
1
回答
gsutil copy,如何指定要复制
的
最大对象数?
google-cloud-storage
我需要在GCS中将
文件
从一
个
存储
桶
移动到另一个
存储
桶
进行处理,每次我只需要复制和处理一定数量
的
文件
,例如100个,我如
何在
命令行
中
配置它?gsutil -m mv gs://bucket1/file001.
json
gs://bucket2/ 谢谢你
的
帮助。
浏览 2
提问于2014-11-25
得票数 0
4
回答
如何使用
Python
将Google Cloud Storage
中
的
文件
从一
个
存储
桶
移动到另一个
存储
桶
python
、
google-cloud-storage
是否有任何API函数允许我们将Google Cloud Storage
中
的
文件
从一
个
存储
桶
中移动到另一个
存储
桶
中
?谢谢。
浏览 1
提问于2014-09-22
得票数 11
回答已采纳
1
回答
Google Cloud Composer:关于语言和工作流程
的
问题
google-cloud-platform
、
workflow
、
google-cloud-composer
我正要写一篇关于Google Cloud Composer
的
论文,我遇到了一些不确定因素。 在Google Cloud Composer
中
,DAG是用
python
编写
的
。那么,这是否意味着我只能运行
python
函数,或者我也可以调用保存在google云中
的
java函数? 如果我继续使用
python
,是否所有内容都必须放在一个
文件
中
?我猜这是一个微不足道
的
问题,但在所有来自GCC
的
例子
中</e
浏览 12
提问于2021-05-11
得票数 0
2
回答
如何使用Azure资源管理器模板部署Azure函数(及其代码)?
azure
、
templates
、
azure-functions
、
azure-resource-manager
我们想要
创建
一个资源管理器模板来部署azure功能。模板
json
文件
以及函数本身
的
代码将托管在公共位置(最有可能是github)。到目前为止,我们已经
创建
了接受用户输入(
如
电子邮件地址)
的
模板,
创建
了函数代码,但我们无法了解如
何在
模板
json
中指定代码位置。(亚马逊网络服务允许我们将lambda代码作为压缩
文件
托管在S3
存储
桶
中
,这将被他们<em
浏览 33
提问于2017-12-23
得票数 1
2
回答
对象生命周期管理Firebase
存储
firebase
、
google-cloud-storage
、
firebase-storage
如
何在
firebase
存储
桶
中
设置对象生命周期管理。例如,如果我想在上传30天后删除
文件
。我找不到firebase
的
任何文档,但我可以找到Google Storage
的
文档。如果没有正式
的
方法,我们可以在firebase
存储
桶
或任何替代方案
中
设置对象生命周期管理吗?
浏览 9
提问于2016-09-04
得票数 1
回答已采纳
2
回答
使用boto3在s3
中
搜索
存储
桶
python
、
amazon-web-services
、
amazon-s3
、
boto3
、
boto
我正在尝试
创建
一个
python
脚本,用于将
文件
上传到s3
存储
桶
中
。问题是,我希望这个脚本转到s3,搜索所有的
存储
桶
,找到名称
中
包含特定关键字
的
存储
桶
,并将
文件
上传到该
存储
桶
。我目前有这个: import boto3
浏览 25
提问于2021-05-04
得票数 0
回答已采纳
1
回答
如何通过google云函数在云
存储
中
触发特定
的
扩展
文件
python-3.x
、
google-cloud-platform
、
google-cloud-functions
、
google-cloud-storage
我们
的
源系统中有不同类型
的
文件
(.txt、.xls等),我们正在将这些
文件
从源系统转移到云
存储
桶
中
。根据体系结构,云函数应该在特定
的
文件
扩展名上被触发,当涉及到
桶
时,可以说是.txt,但是相反,该函数是在
存储
在
桶
中
的
每个扩展
文件
上触发
的
。根据我在Azure
中
的
知识,我们有fu
浏览 2
提问于2020-02-26
得票数 1
1
回答
如
何在
AWS网站上托管
文件
目录?
python
、
amazon-web-services
、
amazon-s3
、
web-applications
、
amazon-route53
最近,我通过S3
中
的
静态HTML内容和我通过Route53购买
的
.com域发布了我
的
网站。 我
的
网站上有一页是献给我
的
学生
的
。我希望他们能够进入这个页面并下载他们
的
作业
的
PDF
文件
,但我希望这些PDF
文件
被组织起来。目前,我已经将它们组织在我
的
桌面目录
中
(大写
中
的
每个单词都是一个
文件
夹/目录):月份-
浏览 1
提问于2019-12-09
得票数 0
2
回答
如
何在
couchbase
中
检查特定
的
存储
桶
容量?
couchbase
如
何在
couchbase
中
检查特定
的
存储
桶
容量?因此,如果它将要达到其容量,则
创建
一个新
的
存储
桶
,并开始向该
存储
桶
中
插入数据。这能做到吗..Java API..我
的
问题是..如果我们有一
个大
数据集需要插入到couchbase
中
,并且
存储
桶
大小不够……我正在使用rest API来实现这一点。有没
浏览 3
提问于2013-08-07
得票数 0
1
回答
如何将
文件
从一
个S3
存储
桶
传输到两个不同用户
的
另一个
存储
桶
python
、
python-3.x
、
amazon-web-services
、
amazon-s3
、
boto3
我需要编写代码(
python
)将S3
文件
从一
个S3
存储
桶
复制到另一个
存储
桶
。源
存储
桶
在不同
的
AWS帐户
中
,我们使用IAM用户凭据从该
存储
桶
中
读取。代码运行在与目标
存储
桶
相同
的
帐户
中
,因此它具有IAM角色
的
写访问权限。我能想到
的
一种方法是<e
浏览 6
提问于2019-07-09
得票数 0
回答已采纳
1
回答
使用重命名在GCS下移动
文件
bash
、
google-cloud-storage
、
gsutil
我想编写以下bash脚本,该脚本使用重命名选项将
文件
从一
个GCS
存储
桶
复制到另一个GCS
存储
桶
。我
的
输入
文件
夹为gs://test-rtt-integration/result/frd/*.orc,目标
文件
夹为gs://test-rtt-integration/recent_files/frd 应根据gs://test-rtt
浏览 0
提问于2019-02-28
得票数 0
2
回答
gcloud应用程序部署请求一个“
存储
”属性。
node.js
、
google-cloud-platform
、
gcloud
我试图部署一个Node.js应用程序,只指定app.yaml
文件
中
的
绝对最小值:gcloud给了我这个:我找到
的
相关引用
中
没有提到gcloud版本(没有安装其他组件): Goo
浏览 0
提问于2018-09-23
得票数 1
回答已采纳
1
回答
在Lambda函数响应
中
显示
JSON
文件
- AWS
python
、
json
、
amazon-web-services
、
amazon-s3
、
aws-lambda
我使用
Python
语言从S3
存储
桶
中
读取了一个
文件
:import boto3 key = 'StudentResults.
json
' data = s3.get_obje
浏览 7
提问于2020-05-15
得票数 0
1
回答
使用split/join
创建
新
的
aws密钥
amazon-web-services
好了,我已经让
文件
传输部分工作了,但我要处理
的
是一个巨大
的
规模(数以百计
的
成千上万
的
潜在上传);所以我要做
的
是: 触发lambda将源上传
的
对象移动到新位置 位置是包含对象名称
的
命名键(在不同
的
存储
桶
中
) 我让它将
文件
从一
个s3
存储
桶
移动到另一个
存储
桶
,我只是不知道如何让它根
浏览 18
提问于2021-05-08
得票数 0
回答已采纳
1
回答
创建
Google
存储
桶
的
Python
python
、
json
、
cloud
、
google-cloud-storage
我正在尝试使用
python
在Google上
创建
一个
存储
桶
,以教会自己
python
和云计算。boot-script-test') 我
的
问题是
桶
是作为一个我不喜欢
的
存储
类
创建
的
我询问了如
何在
Goo
浏览 0
提问于2017-05-17
得票数 2
回答已采纳
1
回答
在Google云中处理多个对象
python
、
hadoop
、
google-cloud-storage
、
google-compute-engine
、
hadoop-streaming
我在Google
存储
桶
中有几百个
文件
(100,000个)。
文件
大小约为2-10MB。我需要在每个
文件
上应用一个简单
的
python
函数(仅仅是数据转换)。我需要
从一
个
存储
桶
中
读取-并行转换(
python
函数)-并
存储
在另一个
存储
桶
中
。我正在考虑一个简单
的
Hadoop或Spark集群来做这件事。我
浏览 1
提问于2015-10-06
得票数 1
1
回答
Google Storage不同服务帐户之间
的
数据传输
google-cloud-storage
我有两个Google Service凭证,每个帐户上都有一个
存储
桶
,.I必须将
文件
从一
个
存储
桶
传输到另一个
存储
桶
。我如何才能做到这一点呢?我可以使用两个
存储
对象或使用云
存储
传输服务来实现这一点吗?
浏览 2
提问于2018-09-20
得票数 2
1
回答
将吡火花数据
存储
到多个AWS S3
桶
中
amazon-web-services
、
apache-spark
、
amazon-s3
、
pyspark
我目前正在研究用例,其中 --我想把每个分区写到不同
的
S3
桶
中
。想知道,如果我将整个数据
存储
到一
个大
小约为50 If
的
S3
桶
中
,那么假设我正在以
JSON
格式编写数据,那么保存
的
数据将如何进入
存储
桶
;更具体地说,当保存数据时,S3
中
的
文件
名是什么。
浏览 1
提问于2021-04-30
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python编程:序列化和反序列化
在VS Code中进行Python开发
手把手教你如何用 Python从PDF 文件中导出数据
手把手教你如何用Python从PDF文件中导出数据
Python编程:文件读写
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券