腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
更快
的
方法
从
存储
桶
中
下载
blobs
列表
?
google-cloud-platform
、
google-cloud-storage
我想从GCP上
的
存储
桶
中
下载
blobs
(>100000)
的
列表
。每个blob包含少量数据(<1KB)。现在我
的
平均速度是每秒20个斑点,这是非常慢
的
。我使用了以下代码: storage_client = storage.Client()
blobs
= bucket.list_
bl
浏览 3
提问于2019-01-16
得票数 0
回答已采纳
1
回答
将文件名转换为小写[] [gsutil]
google-cloud-platform
、
gsutil
我们最近将所有产品图片
从
我们
的
网站转移到。由于过去存在错误
的
命名策略,文件名
中
的
大小写(小写、大写)并不总是与我们产品数据库
中
列出
的
文件名
的
方式相匹配。我看到
的
最快
的
解决办法是迫使网站以小写形式调用所有文件名。但这意味着我必须将云
存储
中
的
所有文件名(包括扩展名)更改为小写。我一直在用gsutil做实验,但到目前为止还没能做到这一点。谢谢你
的
帮助。
浏览 0
提问于2016-11-01
得票数 1
1
回答
有没有
办法使用python获取google云
存储
桶
中
的
对象数量?
python
、
google-cloud-storage
我需要获取GCS
存储
桶
中
的
文件数。我不想使用list_
blobs
逐个读取它们,然后增加一个计数器。
有没有
我们可以查询
的
元数据? 我需要
下载
存储
桶
中
的
所有文件并对其进行处理。现在我想使用线程来完成,所以我需要以某种方式将文件分成不同
的
组。我们
的
想法是将list_
blobs
与offset和size一起使用,但为了做到这一点,我需要知
浏览 24
提问于2021-02-11
得票数 0
1
回答
Google云
存储
API没有将blob上传到
桶
中
python
、
google-api
、
google-cloud-storage
我坚持使用google云
存储
文档,将服务器上
的
本地文件作为blob上传到我创建
的
桶
中
,但它不起作用。不过,它确实通过云控制台gui手动工作。请注意,我
从
cloudstoragesink
中
的
桶
中
下载
导出生成
的
对象
的
代码工作,它也调用云
存储
API,但上传没有。我试图获得一些错误信息,以便在stdout或stderr上进行调试,但没有效果。我
的
凭据
浏览 3
提问于2022-05-04
得票数 1
2
回答
如何
从
Firebase
存储
中
下载
文件
python-3.x
、
firebase
、
google-cloud-storage
我一直在尝试
从
Firebase
存储
中
下载
一些文件。现在,我尝试列出特定路径
中
的
所有文件,如下所示: bucket = client.get_bucket('myapp.appspot.com/path/to/folder')print(len(blob
浏览 17
提问于2019-11-03
得票数 3
回答已采纳
4
回答
Google Cloud Storage列出具有特定文件名
的
Blob对象
python
、
google-cloud-storage
、
client-library
在google.cloud.storage和list_
blobs
的
帮助下,我可以
从
特定
的
存储
桶
中
获取文件
列表
。但是我想从
存储
桶
中
过滤(name*.ext)确切
的
文件。我找不到确切
的
答案。例如: buket=data,prefix_folder_name=sales,在前缀文件夹
中
,我有带有元数据
的
发票
列表
。我想
浏览 46
提问于2020-07-09
得票数 2
1
回答
google
存储
环境
中
桶
()和get_bucket()
的
区别
python
、
google-cloud-storage
我想在google
存储
桶
上
下载
这些小块。客户端
的
get_bucket和bucket
方法
有什么不同?为什么它们
的
权限不同?两者都可以用来
下载
blobs
吗?
浏览 1
提问于2020-12-15
得票数 3
回答已采纳
3
回答
如何
从
IBM Cloud Object Storage
下载
多个对象?
ibm-cloud
、
object-storage
我正在尝试使用IBM Cloud Object Storage来
存储
用户上传到我
的
站点
的
图像。我让这个功能工作得很好。 然而,根据这里
的
文档(),似乎一次只能从
存储
桶
中
下载
一个对象。
有没有
办法
从
存储
桶
中
下载
所有对象
的
列表
?
从
COS
存储
桶
中
请求多个对象是否有不同
的</e
浏览 1
提问于2018-09-25
得票数 1
2
回答
如何在没有过滤
的
情况下将同一
存储
桶
中
的
下载
并行化?
amazon-web-services
、
amazon-s3
我有一个巨大
的
水桶,里面有数百万个文件。我根据数据库搜索进行了一些过滤,得到了一个行I
列表
。这些行ids是我
从
s3
存储
桶
中
需要
的
实际文件名。
有没有
办法编写cp命令,让文件并行
下载
,这样
下载
速度就会
更快
?
浏览 0
提问于2020-12-17
得票数 0
1
回答
如何
从
S3
存储
桶
下载
文件?
amazon-web-services
、
flutter
、
amazon-s3
、
agora.io
我
的
要求是
从
s3
存储
桶
中
下载
文件,我尝试将
存储
桶
公开,然后使用该s3 URL成功
下载
文件, 我正在使用Agora Cloud Recording对每个屏幕进行录制Agora成功地将视频保存到s3
存储
桶
中
,然后我需要从s3
下载
文件。Agora建议公开
存储
桶
,通过s3地址
下载
文件,由于s3安全问题,我不想公开
存储
<
浏览 25
提问于2020-07-28
得票数 0
1
回答
使用python
从
Firebase
存储
下载
文件链接
python
、
firebase
、
flask
、
firebase-storage
看来,关于firebase
的
文档非常缺乏。我想要做
的
是通过我
的
烧瓶应用程序获得一个在防火墙
存储
的
文件夹
中
的
所有文件
的
下载
链接。=999999999), method='GET')问题是,blob = bucket.blob('articles/'+aid+'/resources')指向
存储
中
浏览 2
提问于2020-03-11
得票数 1
回答已采纳
1
回答
识别S3
中
不是
从
FTP
下载
的
丢失文件
python
、
amazon-web-services
、
amazon-s3
、
ftp
我有一些Python代码,它从FTP
下载
一些文件,并将它们写入到亚马逊网络服务S3
桶
。现在我想避免任何丢失
的
文件,所以我当前
的
方法
是: ->列出FTP
中
的
所有可用文件,将文件名添加到
列表
中
list_1 ->列出S3
存储
桶
中
的
所有文件,将文件名添加到
列表
中
list_2 ->然后比较list_1和list_2,找出
浏览 27
提问于2021-08-09
得票数 1
回答已采纳
1
回答
如何使用st.selectbox()从下拉菜单中选择文件,
从
Streamlit应用程序中保存在云
存储
中
的
文件中选择文件?
python
、
google-cloud-platform
、
google-cloud-storage
、
streamlit
我正在制作一个Streamlit考勤应用程序,所有出勤表格都上传到云
存储
中
(在我
的
例子
中
是谷歌云
存储
)。我已经阅读了以下
的
文档和线程,并获得了基本
的
工作原理,但我不知道如何将下拉
列表
实现为实现该
列表
的
流光选择箱。我希望为不同
的
可用文件名(以日期格式存在)提供下拉选择st.selectbox(),并从Streamlit应用程序
中
的
云
存储
中<
浏览 11
提问于2022-09-13
得票数 0
1
回答
如何使用google oauth将google bucket目录
中
的
所有文件
下载
到本地目录
python
、
google-api
、
google-cloud-storage
有没有
办法使用OAuth将谷歌
存储
桶
目录
中
的
所有内容
下载
到本地目录。 我
从
存储
API和gsutil中找到了两种使用(get request object)
的
方法
。但是由于API使用直接名称
下载
,所以我必须首先解析所有
存储
桶
内容
列表
,然后发送get请求,然后再
下载
它。我发现gsutil更方便,但为此,我必须对凭证
的</em
浏览 10
提问于2017-02-25
得票数 1
2
回答
如何正确使用谷歌云
存储
python库
中
的
create_anonymous_client()函数来访问公共
存储
桶
?
python
、
google-cloud-platform
、
google-cloud-storage
我在google云
存储
上创建了一个可公开列出
的
存储
桶
。如果我尝试在浏览器
中
列出
存储
桶
对象,我可以看到所有的键。我尝试使用create_anonymous_client()函数,以便可以在python脚本
中
列出
存储
桶
键。它给了我一个例外。我到处寻找,但仍然找不到正确
的
方法
来使用这个函数。storage.Client.create_anonymous_client() a = clie
浏览 1
提问于2018-06-28
得票数 6
1
回答
优化文件夹子集
的
gsutil
下载
google-cloud-platform
、
gsutil
我在Google Cloud
存储
桶
中
存储
了一组文件- 100k个文件,总容量为1TB。我需要一种
从
存储
桶
中高效地
下载
不同文件子集
的
方法
。有一种
方法
可以将所需文件
的
列表
传递给gsutil:python generate_filenames.py | gsutil -m cp -I .,但在我
的
场景中速度非常慢(大约2MB/秒)。-
浏览 1
提问于2019-11-19
得票数 1
1
回答
基于元数据列出天蓝色斑点- python sdk
python
、
azure
、
azure-storage-account
我正在使用azure blob
存储
sdk,我希望有办法根据特定
的
元数据信息过滤blob。STORAGE_ACCOUNT_CONNECTION_STRING'])
浏览 25
提问于2020-09-03
得票数 1
1
回答
是否可以重命名google
存储
中
以给定字符串开头
的
所有文件/块?
google-cloud-storage
我可以在文档中看到如何在
桶
中
重命名文件(
blobs
)。然而,我正在寻找
方法
,只重命名那些文件/波包,以一个特定
的
前缀在
桶
(即。使用通配符重命名,如gs://my- bucket /loc/my-file*),在获取
桶
中
的
blob
列表
之后,我看不到文档
中
要匹配
的
blob "name“属性。
有没有
一种使用Py
浏览 3
提问于2017-05-26
得票数 0
回答已采纳
3
回答
从
google云
桶
访问图像(笑笑到文件夹)
python
、
google-cloud-platform
我想用python脚本加载
存储
在
桶
中
的
所有图像。要加载本地
存储
的
映像,我使用以下代码。images = [] images.append(os.path.join(images_dir,each)) 是否有一种
方法
可以访问类似文件夹样式
的
桶
浏览 1
提问于2019-07-21
得票数 1
回答已采纳
1
回答
将大文件直接
从
App engine上传到Google Storage
google-app-engine
、
google-cloud-platform
、
google-cloud-storage
、
google-app-engine-python
我正在尝试构建一个系统,用户
从
他们
的
dropbox中选择一个大型数据集,然后将这些数据
下载
到google云
存储
桶
中
。问题是我
的
后端代码在AppEngine上运行,因此我无法将大文件
下载
到磁盘上以上传到
存储
桶
中
。
有没有
一种
方法
可以通过编程告诉云
存储
从
URL检索数据?或者,
有没有
其他
方法
可以将这
浏览 6
提问于2020-02-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
技术教程 Caffe学习笔记
【行业资讯】RocksDB 8.0 发布
散列表的原理与实现
怎样恢复删除的视频?视频恢复,4个方法!
Pinterest搜索系统实时化的挑战和建设实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券