腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9997)
视频
沙龙
1
回答
如何
从
nodeJS
中
的
URL
获取
文件
,
构建
压缩文件
并
通过
管道
连
接到
云
存储
存储
桶
node.js
、
google-cloud-platform
、
zipfile
我想
构建
一个
云
函数,它接收像这样
的
对象: { { } "referenceId": "cute-images" } 我想要
获取
这些
文件
,
浏览 35
提问于2021-01-31
得票数 1
回答已采纳
2
回答
AWS CodeBuild默认环境变量。
amazon-web-services
、
amazon-s3
、
aws-codepipeline
、
aws-codebuild
、
aws-codecommit
我创建了一个
管道
,它从CodeCommit
存储
库
获取
代码,
通过
CodeBuild
构建
它,并将代码推送到S3
存储
桶
中
。如果我
通过
CodeBuild控制台手动启动
构建
并
指定
存储
库,则在buildspec<
浏览 0
提问于2018-02-02
得票数 2
2
回答
如何
在不解压
的
情况下读取保存在apache beam
云
存储
中
的
压缩
的
gzip csv
文件
java
、
google-cloud-platform
、
google-cloud-storage
、
apache-beam
、
apache-beam-io
我有GZIP压缩
的
csv
文件
通过
第三方上传到
云
存储
中
。我正在使用阿帕奇光束连续流
管道
读取
压缩文件
元数据(
文件
名,完整路径).I有一个更多
的
要求,以读取这个csv
文件
的
第一行和最后一行。我正在使用以下代码来
获取
正在添加到
云
存储
存储
桶
文件
夹
中
的
浏览 61
提问于2021-07-02
得票数 0
回答已采纳
1
回答
在GCP生产项目中使用
云
源
存储
库
google-cloud-build
、
cicd
、
google-cloud-source-repos
我有一个独立
的
云
源库(不是
从
Github克隆
的
)。我正在使用它来自动部署ETL
管道
。因此,我遵循了谷歌推荐
的
指导原则,即将ETL
管道
提交为.py
文件
。与
云
源
存储
库相关联
的
云
构建
触发器将运行cloudbuild.yaml
文件
中提到
的
代码,并将生成
的
.py
文件
放入composer DAG
存
浏览 43
提问于2021-08-26
得票数 0
1
回答
基于
压缩文件
中
文件
的
不同
管道
python
、
google-cloud-dataflow
、
apache-beam
我在google
云
存储
桶
中有一个
压缩文件
。该
文件
包含一个大csv
文件
和一个基于xml
的
小元数据
文件
。我想提取这两个
文件
,确定元数据并处理csv
文件
。我正在使用Python,
管道
在某个时候将在上运行。当前
的
解决方案是使用Google函数提取两个
文件
,
并
使用
从
xml
文件
中
解析
的
参
浏览 0
提问于2018-05-13
得票数 0
回答已采纳
2
回答
google
存储
桶
配置主页
google-cloud-platform
、
routes
、
google-cloud-storage
、
google-bucket
我做了一个水桶,就叫它我
的
水桶吧。我给了这个
存储
桶
"Legacy Storage Read“,这意味着它不应该列出
存储
桶
,但如果有人知道
存储
桶
中
特定
文件
或
文件
夹
的
URL
,他们就可以访问它。如果我在
URL
中
输入了唯一
的
存储
桶
地址,即使访问被拒绝,我也会在
存储
桶
浏览 11
提问于2021-09-22
得票数 0
1
回答
只将Google
云
存储
桶
中
的
文件
元数据读入Python
中
的
云
函数(不加载
文件
或其数据!)
python
、
google-cloud-storage
、
metadata
、
google-cloud-functions
其目的是在
云
函数使用return语句结束时返回此信息,或者在
云
函数运行期间,在
文件
保存到Google
桶
中
时立即将其记录下来。有了这些信息,就可以在给定
的
时间戳之后启动另一个作业。
管道
是同步
的
。我在将
文件
或数据加载到
云
函数时发现了Q/A或者使用stor
浏览 0
提问于2022-01-20
得票数 0
回答已采纳
2
回答
如何
将
文件
从
on迁移到GCS?
python
、
google-cloud-storage
、
etl
、
google-cloud-dataflow
、
apache-beam-io
我想要
构建
一个ETL
管道
: 将
文件
写入
云
存储
桶
中
。是否可以直接
通过
存储
传输服务导入
文件
(每天定期导入)?让我们假设我想用Dataflow (使用Python作为编程语言)
构建
管道
。有可能实现这样
的
工作流吗?如果是的话,是否有任何Python与Apache
浏览 12
提问于2022-10-10
得票数 1
回答已采纳
1
回答
从
android应用程序将
文件
保存在google
云
存储
中
?
android
、
google-cloud-storage
如何
保存
文件
与过期时间(即
文件
将自动
从
存储
中
删除)在谷歌
云
存储
中
的
android应用程序和
获取
存储
在
存储
桶
中
的
文件
的
公共
url
。我已经创建了
存储
桶
,
并
设置了对它
的
公共访问权限,但在没有任
浏览 1
提问于2017-07-10
得票数 0
1
回答
在AWS - GitHub到Lambda
中
的
CICD
amazon-web-services
、
github
、
aws-lambda
、
aws-codepipeline
、
cicd
我正在尝试
构建
一个CICD
管道
,它支持下面列出
的
非常简单
的
过程。我试图在AWS (即避免GitHub操作)
中
完成这一切,并且我不想手动邮政编码或传输任何东西。目标过程: 我已经能够将AWS CodePipeline链
接到
GitHub。当代码被推送到
存储
库时,
浏览 15
提问于2021-08-03
得票数 1
1
回答
无法选择S3
文件
夹作为AWS上CodePipeline
的
源
amazon-web-services
、
amazon-s3
、
aws-codepipeline
、
aws-codebuild
我试图使用CodePipeline在AWS上安装CI/CD
管道
,
并
使用下面的设置
构建
: CodeBuild发布: EC2实例但是,我已经检查
并
确认
桶
名是正确
的
,
桶
中有一个
文件
夹'api‘。 设置它
的
选项清楚地表明,我可以输入S3对象键或S3
文件
夹。我尝试将我
的
文件
直接复制到
浏览 1
提问于2018-12-06
得票数 9
回答已采纳
1
回答
如何
在亚马逊网络服务CodePipeline中将
文件
从
S3
存储
桶
添加到输出工件?(
NodeJS
)
amazon-web-services
、
amazon-s3
、
aws-codepipeline
、
aws-codebuild
、
buildspec
我使用
的
是一个AWS,它从我
的
git
存储
库
获取
源代码,使用CodeBuild buildSpec
构建
输出工件并将其保存到S3
存储
桶
中
,最终将其部署到Elastic BeanStalk (
NodeJS
环境一切正常,但我需要
管道
从
我
的
一个AWS S3
存储
桶
中
复制一个特定
的
文件
,并在将其部署到out
浏览 22
提问于2021-01-23
得票数 1
回答已采纳
2
回答
GCP应用程序引擎访问GCloud
存储
,而无需“公开共享”
node.js
、
google-app-engine
、
google-cloud-platform
、
google-cloud-storage
、
gcp
我想知道
如何
授予Google Cloud Platform App Engine项目权限,以便在不将Google Cloud Storage
存储
桶
权限设置为“公开共享”
的
情况下提供来自Google CloudStorage
的
内容。我
的
App engine项目正在运行Node JS。在允许用户查看内容之前,使用Passport-SAML身份验证对用户进行身份验证,因此我不想
通过
IAM在单个用户级别上设置访问权限。图片和视频目前是
从
我
的
应
浏览 3
提问于2018-01-04
得票数 1
1
回答
将内容上传到亚马逊
云
服务
并
通过
S3提供内容
java
、
spring-boot
、
amazon-s3
、
amazon-cloudfront
我需要上传静态内容,如图片到亚马逊S3,并提供一个链接,以便图像可以
通过
云
前线CDN (内容分发网络)访问。我是亚马逊网络服务
的
新手,我读到s3
存储
桶
链
接到
CDN,我相信它都是基于配置
的
。
从
java代码
中
,我可以上传到s3,
并
获得基于
存储
桶
的
url
。
如何
从
java代码
中
检索同一张上传图片<em
浏览 15
提问于2020-06-11
得票数 0
2
回答
Firebase
存储
库
url
与参考
android
、
firebase
、
google-cloud-firestore
、
firebase-storage
例如,我有有图像
的
Firestore对象,我应该
如何
存储
这些图像?我是否应该将array of string(urls)或array of reference
存储
到Firebase
存储
(不确定是否可能,可能引用为string)?
存储
reference感觉更灵活,例如,我们可以在上传图像之前创建reference,并且不依赖于
url
,但我想知道这是否是正确
的
决定。
浏览 8
提问于2020-07-28
得票数 2
回答已采纳
2
回答
通过
App Engine访问
云
存储
对象,
存储
桶
不公开可读
google-app-engine
、
google-cloud-platform
、
google-cloud-storage
我希望能够
从
我
的
App Engine App访问
云
存储
Bucket
中
的
文件
,而无需使对象或bucket本身公开可读。虽然我知道有一堆允许
通过
身份验证访问
存储
桶
对象(客户端库、带签名
的
urls等)
的
选项,但复杂
的
因素是,我希望能够访问路径与相关
存储
桶
的
文件
夹结构相似的
文件
。此<
浏览 1
提问于2017-11-29
得票数 0
4
回答
设置CodeDeploy部署环境变量
amazon-web-services
、
amazon-ec2
、
travis-ci
、
aws-code-deploy
我有一个用于
NodeJS
应用程序
的
CD
管道
,该
管道
包含以下步骤:2) Travis CI触发亚马逊网络服务CodeDeploy部署但是我
的
NodeJS
应用程序需要一些环境变量才能运行。因为这些变量
的
值是敏感
的
,所以
浏览 1
提问于2019-07-11
得票数 5
1
回答
如何
从
s3压缩包更新lambda函数
amazon-s3
、
aws-lambda
lambda函数最初是使用
云
形成模板创建
的
,s3
存储
桶
中
的
压缩文件
名为s3key。index.handler", "Runtime" : "
nodejs
10.x", 现
浏览 23
提问于2020-03-31
得票数 0
回答已采纳
1
回答
体系结构帮助-替代ETL数据流和处理
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
我正在寻找一些关于为一个简单
的
ETL工作
构建
一个架构
的
指导。我已经
构建
了一个解决方案,但我正在寻找方法来改进或尝试另一个体系结构。这里是我
的
用例: 为此,我
构建
了一个解决方案,用户可以将csv格式
的
源数据上传到
云
存储
浏览 2
提问于2018-08-03
得票数 0
1
回答
如何
从
url
下载
文件
并将其
存储
在aws s3
桶
中
?
rest
、
api
、
url
、
amazon-s3
、
storage
如前所述,我正在尝试下载包含图像
的
压缩文件
夹数据集:并将它们
存储
在一个s3
桶
中
,以便以后可以将它们解压缩到
存储
桶
中
,重新组织它们,并将它们以较小
的
块拖到vm中进行一些计算。问题是,我不知道
如何
从
或其他任何一个平台
获取
数据,然后将其发送给s3 --这是我第一次使用aws或任何
云
平台,所以请容忍我:]
浏览 1
提问于2019-07-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
浅谈云上攻防——Web应用托管服务中的元数据安全隐患
VSTS被拆成5个部分,以Azure DevOps服务形式推出
微软宣布推出Azure DevOps,将成功获得Visual Studio Team Services
自建图床应用,我只推荐 Serverless
Python爬虫很简单,真正的这些隐藏的知识你都懂吗?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券