Google Cloud Airflow Composer产生磁盘成本“为什么”或“从哪里来”？
Google Cloud Airflow Composer产生磁盘成本是因为它使用了Google Cloud Storage（GCS）作为其后端存储。GCS是Google Cloud提供的一种可扩展的对象存储服务，用于存储和检索各种类型的数据。
在Airflow Composer中，任务的日志、DAG文件、依赖项等数据都存储在GCS上。这些数据的存储和读取操作会产生磁盘成本，具体费用取决于数据的大小和访问频率。
磁盘成本主要来自以下几个方面：
- 存储成本：Composer使用GCS存储任务的日志和DAG文件等数据。GCS的存储费用根据存储的数据量计算，包括数据的存储容量和存储时间。
- 读取成本：当任务执行时，Composer需要从GCS读取相关的数据。GCS会根据读取的数据量计算读取费用，包括数据的传输量和传输时间。
- 写入成本：当任务生成日志或更新DAG文件时，Composer需要将数据写入GCS。GCS会根据写入的数据量计算写入费用，包括数据的传输量和传输时间。
总的来说，磁盘成本是由于Airflow Composer使用GCS作为后端存储，而GCS的存储、读取和写入操作都会产生相应的费用。具体的成本取决于数据的大小、访问频率和存储时间等因素。
推荐的腾讯云相关产品：腾讯云对象存储（COS） 腾讯云对象存储（COS）是腾讯云提供的一种高可用、高可靠、强安全性的云端存储服务。它可以用于存储和管理各种类型的数据，具有高扩展性和低成本。腾讯云对象存储（COS）适用于各种场景，包括网站托管、数据备份、大数据分析、多媒体存储和分发等。
产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
当我们在google云平台上创建airflow composer时。磁盘价格出现在计费报告中。但是我们不知道“为什么我们有一个成本，或者是哪个工具产生了这个成本？”
浏览 19提问于2021-10-12得票数 0
我试图从1.16.4-airflow-1.10.15迁移到composer-2.0.1-airflow-2.1.4，但是我们在库中遇到了一些困难，因为每次我上传库时，调度程序都无法工作。google-api-python-clientgoogle-cloud-bigquery-storage==1.1.0grpciosklear
浏览 4提问于2022-01-12得票数 0
回答已采纳
3回答
我想要澄清一下Cloud Dataflow或Cloud Composer是不是适合这项工作的工具，而我在Google文档中并不清楚。目前，我正在使用Cloud Dataflow读取非标准的csv文件--执行一些基本处理--并将其加载到BigQuery中。我的问题是，Cloud Composer是从哪里来的呢？它可以在上面提供哪些额外的功能？换句话说，为什么要“在”云数据流之上使用它呢？
浏览 2提问于2019-01-12得票数 13
3回答
我正在尝试用基础结构作为代码来创建一个composer环境。为此，我需要以编程的方式存储和检索气流变量，并将它们保存在某个地方。在中，编写了一个脚本将表转换为JSON，但是在使用以下命令时，composer/airflow输出数据的方式存在问题：
gcloud composer environments run `$COMPOSER_ENV' │ 'mysql' │ 'ai
浏览 2提问于2020-10-02得票数 1
我是GCP和Airflow的新手，正在尝试通过Python3通过一个简单的PYODBC连接来运行我的python管道。dbname;UID=username;PWD=password')
当我在环境中打开我的gcloud shell并运行Microsoft下载时，它就会中止，当我下载SDK并从本地下载连接到项目时，它会自动中止或无法识别来自有没有人能给我一些简单的指示，告诉我从哪里开始，我做错了什么？
浏览 3提问于2020-02-22得票数 3
我目前正在通过气流组织TFX管道，并扩展- Composer。因此，我继续阅读了Google提供的关于如何在Composer & Cloud之间配置连接的文档：在云编写器 中管理气流连接这里要注意的是，我对Google提供的模板做了一些修改，因为该版本包含两个容器:一个用于用户应用程序，另一个用于代理。我尝试过的另一件事是将代理的外部IP添加到CloudSQL实例
浏览 6提问于2020-12-06得票数 1
我有一个有点重的python笔记本，我想在GCP上运行，但在库破坏等问题上遇到了一些问题，我将慢慢地逐渐减少。同时，我想知道(如果可能的话)如何在我的本地机器上运行我的笔记本，同时将执行的工作负载放在一些云计算资源上？这样，我的代码就可以像在本地机器上设置的那样被调用。一个简单的解决方案是上传我本地windows机器的自定义镜像，但你不能在GCP免费试用中做到这一点，而且我是一个严格的学生！
浏览 1提问于2020-07-07得票数 0
3回答
下面的命令允许我列出指定$COMPOSER_ENV中的所有连接│ 'bigquery_default' │ 'google_cloud_platform'
浏览 2提问于2020-10-01得票数 1
回答已采纳
我已经查看了谷歌的PubSub文档，也试着查看Google，但是找不到任何方法来找出我的主题中的队列大小。
浏览 6提问于2016-02-18得票数 26
回答已采纳
6回答
我从开始，因为它是最容易和最便宜的托管方式。我在以前的一些应用程序中使用过.NET框架，并且我对Python语言非常熟悉。
但是我现在使用PHP一点也不舒服，所以我决定使用一些更简单的东西。有没有人能帮我理解一下，考虑到大量的图像操作，假设每秒大约有200个请求，.NET框架或Python (目前的web.py在我看来很不错)是否比其他的更有优势？
浏览 0提问于2009-05-28得票数 0
回答已采纳
我正在做一些涉及pycurl的东西，因为pycurl依赖于libcurl，我正在阅读它的文档，偶然发现了这个多接口，在这个接口中，你可以使用一个多对象执行多个传输。我想知道这是否比拥有多个简单的界面更快/更有效地利用内存？我想知道这种方法的优势是什么，因为网站几乎没有说，
浏览 1提问于2014-08-10得票数 1
选择一、二、三与选择一、二、三比较成本是多少……N列1条记录vs 10条记录vs 100条记录有关系吗？
浏览 0提问于2010-11-18得票数 0
7回答
有没有一种方法可以让逻辑测试失败，但只提供一个警告或其他东西，而仍然运行单元测试的其余部分？
上下文的一个例子是，我有一个测试，它创建一些学生、教师和班级，创建关系，然后将它们放入数据库。
浏览 2提问于2011-01-13得票数 7
回答已采纳
1回答
我创建了将我的Google播放列表导出到文本文件的方法和将我在Google中的所有歌曲导出到文本文件的方法。现在，我在各自的文本文件中有歌曲列表(数组格式)和播放列表数据(对象和数组格式)。
浏览 0提问于2019-02-17得票数 3
回答已采纳
13回答
这就是为什么我认为Hashtable将是这项任务的理想选择，因为理想情况下，检查列表只需要log(1)。不幸的是，.net中的单个对象可能只有2 2GB。
浏览 1提问于2010-01-13得票数 31
回答已采纳
将程序的不同部分分成不同的进程似乎(在我看来)是一个更优雅的程序，而不仅仅是将所有东西都线程化。在什么情况下，让程序在线程上运行，而不是将程序分成不同的进程，这有什么意义呢？什么时候应该使用线程？
任何关于它们如何(或是否)在单核和多核中表现不同的信息也将是有帮助的。
浏览 1提问于2009-03-06得票数 54
7回答
从内部数据中心到云和融合架构，IT运营在过去十年中呈指数级增长，很多IT大公司已经消除了与安装数据中心，服务器相关的大量工作，管理网络，存储等。
浏览 1801提问于2018-10-12
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
