腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
使用
本地堆栈
s3
端点以编程方式设置
Airflow
1.10日志?
amazon-s3
、
kubernetes
、
docker-compose
、
airflow
、
localstack
在尝试为本地和kubernetes开发环境设置本地堆栈
s3
存储
桶
的气流日志记录时,我遵循。简单介绍一下,是一个本地的亚马逊网络服务云栈,其中包括在本地运行的
s3
。我将以下环境变量添加到我的气流容器中,试图记录到我本地的
s3
存储
桶
中。我可以
使用
独立的Python脚本访问
存储
桶
(
使用
boto显式输入AWS凭据),但它需要作为
airflow
的一部分工作。但是,基于气流 (父),似乎应该可
浏览 0
提问于2020-02-17
得票数 4
1
回答
使用
Airflow
删除
S3
存储
桶
对象
amazon-s3
、
airflow
在
Airflow
中
使用
S3DeleteObjectsOperator不会
删除
指定
S3
存储
桶
中的
对象
,即使任务显示已成功
删除
delete_s3bucket_files = S3DeleteObjectsOperator********************', aws_conn_id='aws_default', ) 因此,任务运行显
浏览 26
提问于2019-09-16
得票数 2
3
回答
如何将
Airflow
的计划程序日志输出到标准输出或
S3
/ GCS
airflow
、
airflow-scheduler
我们正在
使用
带有docker-compose的 docker镜像运行
Airflow
集群。
Airflow
的调度器容器将其日志输出到/usr/local/
airflow
/logs/scheduler。问题是日志文件不会轮换,并且磁盘
使用
率会增加,直到磁盘满为止。可用,但未清理在工作节点上运行的DAG和计划程序容器上的日志目录。我正在寻找将调度程序日志输出到标准输出或
S3
/GCS
存储
桶
的方法,但找不
浏览 3
提问于2021-01-10
得票数 1
1
回答
我们如何在AWS气流MWAA上
使用
气流代码编辑器或简单的dag编辑器?
amazon-web-services
、
airflow
、
mwaa
插件“气流-代码编辑器”或“简单-数据编辑器”被设计成直接在气流接口中编辑数据。有办法让他们发挥作用吗?
浏览 2
提问于2022-06-23
得票数 1
回答已采纳
1
回答
如何在没有密钥的情况下将
Airflow
连接到AWS
S3
?
airflow
我希望将
Airflow
连接到
S3
,并能够从
存储
桶
中获取数据。然而,唯一关于如何做到这一点的教程
使用
AWS Secret Access Key。我不想用它们。所以我想问一下
Airflow
是否支持任何其他连接
S3
的方式?
浏览 0
提问于2018-09-12
得票数 0
3
回答
移除bucket是否也会移除其
对象
java
、
amazon-web-services
、
amazon-s3
、
aws-sdk
我看到AmazonS3有deleteBucket功能,但似乎不能理解它是否会自动
删除
它的
对象
,或者我需要执行以下操作: List<S3ObjectSummary> objList= S3S.listObjects
浏览 2
提问于2018-01-11
得票数 0
1
回答
AWS
s3
rb在命令行界面中不起作用,如何
删除
s3
存储
桶
中的文件?
amazon-web-services
、
amazon-s3
、
command-line-interface
我需要
删除
我的
s3
存储
桶
aws
s3
rb
s3
://bucketname --forceremove_bucket failed:
s3
://bucketname An error occurred如何通过AWS CLI永久
删除
存储
桶
及其
存储
桶
?
浏览 3
提问于2020-05-16
得票数 1
1
回答
使用
从
S3
事件调用的AWS Lambda触发气流DAG
amazon-s3
、
aws-lambda
、
airflow
我正在考虑建立一个工作流程,如下所示: 我有一个应用程序,可以将近1000个csv文件写入
s3
存储
桶
MY_BUCKET中的一个文件夹MY_DIRECTORY。现在我想解析这些文件从
s3
桶
,并加载到MySQL数据库
使用
Apache
Airflow
。通过阅读这里的几篇文章:和,我认为最好
使用
AWS lambda触发我的
Airflow
DAG,一旦文件到达
s3
文件夹,它就会被调用。作为
Airflow
和La
浏览 10
提问于2020-02-09
得票数 1
回答已采纳
3
回答
如何获取
S3
安全访问表单应用程序?
amazon-web-services
、
security
、
amazon-s3
如何从web URL安全地访问、上传和
删除
S3
存储
桶
中的
对象
?我们想要上
浏览 0
提问于2021-02-09
得票数 0
1
回答
s3
生命周期规则是否覆盖了拒绝
删除
桶
还是DeleteObject策略是
s3
桶
?
amazon-web-services
、
amazon-s3
、
s3-lifecycle-policy
我有一个
S3
生命周期策略,它将
删除
桶
中的整个
对象
。
浏览 9
提问于2021-04-14
得票数 1
回答已采纳
1
回答
AWS管理的
Airflow
上传文件夹到MWAA环境
amazon-web-services
、
airflow
、
mwaa
我将开始
使用
AWS管理的
airflow
。为了让受管理的
airflow
访问dags,我需要将我的代码上传到
s3
存储
桶
中的dags/目录,MWAA将获取它。问题是,当我将tasks文件夹上传到
s3
存储
桶
时,mwaa不会拾取它们,并且我的dag会出现导入错误。 AWS文档没有对此提供任何指导。我想知道以前有没有人这样做过?
浏览 3
提问于2021-10-13
得票数 3
1
回答
带雾
删除
所有
S3
存储
桶
amazon-s3
、
fog
朋友们,我想知道如何在不列出列表的情况下
使用
Fog
删除
所有的
S3
存储
桶
。我不会知道帐户在
S3
中的
存储
桶
和
对象
的列表,做一个列表然后
删除
听起来太昂贵了,难道没有一种方法可以
删除
亚马逊帐户的所有
对象
和
存储
桶
吗? 非常感谢。
浏览 6
提问于2012-07-06
得票数 1
1
回答
无法手动
删除
亚马逊网络服务
S3
存储
桶
amazon-web-services
、
amazon-s3
我正在尝试
使用
S3
管理控制台(在Chrome中)
删除
S3
存储
桶
。它失败了。有没有其他方法可以
删除
这个
存储
桶
?并在服务器开机一个月后
删除
所有这些。以下是评论中要求的
浏览 4
提问于2019-10-15
得票数 0
2
回答
删除
空的
S3
存储
桶
amazon-s3
、
buckets
我正在尝试
删除
一个空的
S3
存储
桶
。我已经
删除
了所有内容,如果我进入
S3
浏览器的
存储
桶
内部,它会显示:“
存储
桶
'blankety.blank.blank‘是空的” 然而,当我尝试
删除
存储
桶
时,它给出了错误:“您尝试
删除
的
存储
桶
不是空的。请
删除
存储
桶
中
浏览 2
提问于2012-05-08
得票数 2
1
回答
为什么我的AWS
S3
对象
计数不同
amazon-web-services
、
amazon-s3
我是AWS
S3
的新手,最近复制了许多
S3
桶
。问题中的
S3
桶
有多个子文件夹,其中计数不同,而且很小,我可以手动检查。在这些情况下,似乎源计数是错误的,因为所报告的计数是8,而实际上我总共只有7个
对象
。新的
S3
目标
桶
报告了7个
对象
。
浏览 1
提问于2021-06-01
得票数 0
回答已采纳
1
回答
S3DistCp (AWS-EMR) - deleteOnSuccess选项在源
存储
桶
上创建文件
amazon-web-services
、
amazon-s3
、
amazon-emr
、
s3distcp
存储
桶
(目标/目的地也是
s3
存储
桶
)复制
对象
。
对象
被正确地复制到目标
存储
桶
中,并
使用
--deleteOnSuccess选项复制了从源
存储
桶
中
删除
的
对象
。这里的问题是,对于每个包含复制
对象
的文件夹(在源
存储
桶
上),都会在源
存储
桶
的根目录下创建一个新文
浏览 12
提问于2019-12-05
得票数 0
1
回答
如何
使用
python将
airflow
错误日志写入
s3
存储
桶
python
当我的
airflow
dag失败时,我在路径"/home/ec2-user/software/
airflow
/logs/dagtest_dag/trigger_load/2019-10-10T06:01“ 如何将这些日志记录到
s3
存储
桶
中?
浏览 12
提问于2019-10-11
得票数 0
回答已采纳
4
回答
如何强制
删除
开启版本控制的非空
S3
存储
桶
?
amazon-web-services
、
amazon-s3
、
aws-cdk
codepipeline.Pipeline(this, "Pipeline", { // code omitted for brevity在我尝试
删除
堆栈之前y6:11:42 PM | DELETE_FAILED | AWS::
S3
::Bucket(Service: Amazon
S3
; Status Code: 409; Er
浏览 0
提问于2020-07-02
得票数 4
3
回答
如何从亚马逊
s3
中
删除
包含许多子目录的目录
amazon-web-services
、
amazon-s3
我在亚马逊
s3
中对拼图进行分区时犯了一个错误,最终得到了一个包含几百万个子目录的文件夹,
删除
整个目录需要几个月的时间。你知道如何快速进行吗?谢谢。我在
s3
中有以下文件夹结构:my_parquet/id=1/...... my_parquet/id=6000000/..
浏览 0
提问于2019-02-14
得票数 1
1
回答
如何
使用
Airflow
将最新文件从
s3
存储
桶
下载到本地机器
airflow
有没有办法
使用
Airflow
将最新的文件从
S3
存储
桶
下载到我的本地系统。 因为我是气流的新手,所以我不知道该怎么做。请协助。
浏览 0
提问于2021-04-27
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“星”产品”XSKY发布 S3 Console,助力企业轻松玩转非结构化数据可视化管理
AWS发布新服务Amazon S3 Storage Lens
全球Amazon S3公开存储桶中有2%未受写入保护
浅谈云上攻防——Web应用托管服务中的元数据安全隐患
Cloudflare R2上线:兼容R3的零流量全新对象存储服务
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券