向MLEngine airflow运算符提供参数

MLEngine airflow运算符是指在Google Cloud Platform（GCP）上使用的一个Airflow运算符，用于在GCP的MLEngine上运行机器学习模型。它允许用户通过Airflow任务调度系统来管理和运行机器学习模型的训练和推理任务。

该运算符提供了以下参数：

project_id（项目ID）：指定要在其中运行MLEngine任务的GCP项目的ID。
job_id（任务ID）：指定要在MLEngine上运行的任务的唯一标识符。
package_uris（软件包URI）：指定包含训练代码和依赖项的软件包的位置。可以是本地文件系统路径或GCS（Google Cloud Storage）中的URI。
training_python_module（训练Python模块）：指定包含训练代码的Python模块的名称。
training_args（训练参数）：指定传递给训练代码的参数。可以是字符串或字典形式。
region（区域）：指定要在其中运行MLEngine任务的GCP区域。
scale_tier（规模层级）：指定用于训练任务的计算资源规模。可选的值包括BASIC、STANDARD_1、PREMIUM_1和CUSTOM。

MLEngine airflow运算符的优势包括：

简化的任务调度：通过Airflow任务调度系统，可以轻松地安排和管理MLEngine上的机器学习任务。
高度可扩展：MLEngine提供了可扩展的计算资源，可以处理大规模的机器学习任务。
集成的机器学习功能：MLEngine提供了训练和推理的功能，以及与其他GCP服务（如BigQuery和Cloud Storage）的集成。

MLEngine airflow运算符适用于以下场景：

训练和推理任务的自动化调度和管理。
大规模机器学习任务的处理。
与其他GCP服务集成的机器学习工作流程。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云机器学习引擎（Tencent Machine Learning Engine）：提供了类似于MLEngine的机器学习任务管理和调度功能。详情请参考：https://cloud.tencent.com/product/tme
腾讯云云服务器（CVM）：提供了可扩展的计算资源，适用于大规模机器学习任务的处理。详情请参考：https://cloud.tencent.com/product/cvm
腾讯云对象存储（COS）：提供了可靠的存储服务，适用于存储训练代码和依赖项。详情请参考：https://cloud.tencent.com/product/cos
腾讯云人工智能（AI）服务：提供了与机器学习相关的各种人工智能服务，可与机器学习任务集成。详情请参考：https://cloud.tencent.com/product/ai

向MLEngine airflow运算符提供参数

airflow、google-cloud-ml、google-cloud-composer

train_set.csv", ] 但是，现在当我尝试提供这些来使用airflow MLEngineTrainingOperator运行作业时，我得到了以下错误： ? 即使参数与使用gcloud成功运行时使用的参数相同。这是应该解析task.py文件中的参数的部分： par

浏览 16提问于2019-01-29得票数 0

回答已采纳

1回答

ML-engine从composer -Unknown名称“python--Unknown”失败

python、google-cloud-ml、google-cloud-composer

_python_version Traceback (most recent call last) File "/usr/local/lib/airflow/airflow/models.py", line 1492, inusr&#x

浏览 7提问于2019-01-20得票数 0

回答已采纳

1回答

使用DataProcPySparkOperator时无法配置GCP项目

python-3.x、google-cloud-platform、airflow、google-cloud-composer

我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。要创建集群，我可以指定一个project_id参数来在另一个项目中创建它，但是DataProcPySparkOperator似乎忽略了这个参数。例如，我希望能够传递一个project_id，但当任务运行时，我最终得到了一

浏览 22提问于2020-08-13得票数 0

回答已采纳

2回答

提供自定义UUID以通过airflow DataprocSubmitJobOperator触发作业

google-cloud-dataproc、airflow

我想给通过Airflow DataprocSubmitJobOperator在谷歌云上提交的spark作业提供一个自定义作业id。通过API，我们可以使用--id参数来做这件事，你知道我们如何通过这个运算符给出同样的结果吗？

浏览 24提问于2021-10-05得票数 2

回答已采纳

1回答

将Spark作业从Airflow (使用airflow Livy操作符)提交给Livy (在EMR中)

amazon-emr、airflow、livy

我正在尝试使用airflow livy operator在电子病历中安排作业。这是我关注的example code。这里的问题是。没有指定Livy连接字符串(主机名和端口)。如何为操作员提供Livy Server主机名和端口？此外，运算符还具有参数livy_conn_id，在本例中，该参数的值设为livy_conn_default。这是正确的值吗？或者我设置了其他值？

浏览 37提问于2021-02-10得票数 1

回答已采纳

3回答

cloud composer + cloud ml引擎教程？

airflow、google-cloud-composer

我找不到云ML引擎+ airflow的教程，请有人帮助部署云ml引擎模型，并与airflow协调，以便每小时使用新数据进行训练

浏览 1提问于2018-08-26得票数 0

1回答

有没有办法通过SimpleHttpOperator在Airflow中通过REST上传文件？

airflow

我正在尝试创建一个Airflow DAG来查询一些数据，将其另存为CSV文件并将其上载到REST API端点。-header 'X-API-TOKEN: my_token' \ --form 'file=@/Users/myuser/myfiles/all_20200707_2.csv' 我正在尝试将其移动到Airflow，并希望通过SimpleHttpOperator将CURL命令转换为Airflow。问题是，我在运算符中找不到任何可以将路径

浏览 16提问于2020-07-09得票数 0

回答已采纳

1回答

如何在Airflow中将文件作为参数传递到SparkSubmitOperator

apache-spark、airflow

提交命令 spark-submit --class=com.test.App /home/ubuntu/app.jar /home/ubuntu/abc.properties 用于安排spark作业的Airflow脚本 from airflow import DAGfrom airflow.contrib.operators importSparkSubmitOperator import sy

浏览 134提问于2019-01-04得票数 0

回答已采纳

1回答

修改BigQuery运算符以显式传递JobId参数AirFlow运算符

google-bigquery、airflow

Im需要显式发送用户生成的JobId参数。我知道这个运算符在默认情况下会创建它自己生成的JobId，但是我对覆盖这个行为很感兴趣，不幸的是这个运算符不接受JobId作为参数。我试图通过api_resource_configs传递这样一个参数，并得到以下消息(请注意，我的JobId参数被忽略了)： [2019-02-12 14:01:09,402] {base_task_runner.py:98} INFO - Subtask: /usr/local/lib

浏览 23提问于2019-02-13得票数 2

回答已采纳

1回答

Airflow jinja2模板化json文件

python、jinja2、airflow

我在Python3.5中使用Airflow 1.10.1，假设我扩展了BaseOperator运算符，并向template_ext添加了.json扩展 template_ext = ('.json',) 然后，我提供了包含宏占位符的.json模板文件的路径 { "name": "{{ params.cm_report_name }}" } 其具有用于通过default_ar

浏览 16提问于2019-07-03得票数 0

回答已采纳

2回答

用于气流ModuleNotFound的导入错误aws_lambda

amazon-web-services、aws-lambda、airflow、airflow-2.x

这是我的Dockerfile下面是导入aws_lambda调用的方式： from airflow.providers.amazon.aws.operators.aws_lambda

浏览 3提问于2022-04-25得票数 0

2回答

气流2.0对DataprocClusterCreateOperator的支持

airflow、google-cloud-composer、airflow-2.x

在我们的项目中，我们使用的是DataprocClusterCreateOperator，它是在from airflow.contrib.operators import dataproc_operator我们正在升级到气流2.1.2，当测试或测试需要旋转DataProc集群时，我们发现错误为airflow.exceptions.AirflowException: Invalid arguments were

浏览 16提问于2021-12-15得票数 1

回答已采纳

1回答

如何从Apache Airflow触发azure Databricks notebook

airflow、databricks、azure-databricks

现在尝试从airflow-1.10.10执行该笔记本。如果有人能帮上忙，那就太好了。提前谢谢。

浏览 35提问于2020-06-22得票数 3

回答已采纳

1回答

Airflow:如何实现动态html_content

airflow

我需要实现自定义电子邮件操作员的html_content动态，因为我们有不同的工作不同的html_content。另外，我需要值是动态的，例如，rows和filename 下面的示例是其中一个电子邮件正文： The `filename` has been delivered. `0 rows` for contact from 2020-06-14. If you have any questions or concerns regarding this feed please reply to this email NOTE: The information contai

浏览 26提问于2020-06-16得票数 0

回答已采纳

1回答

DAG从web界面执行正常，但在通过命令行运行时“失败”

exception、render、airflow、directed-acyclic-graphs

我的DAGs，DAG_ID=sample_dag，文件: sample_dag.py驻留在~/airflow/dags文件夹(Ubuntu)中，可以通过网页界面(点击播放图标)执行。但是，我无法通过命令行访问从相同文件夹运行的相同DAG的功能，例如: airflow render sample_dag all 2019-01-14T06:04:05 上面命令的输出是: Test DagBegin Test Dag End ****airflow.exceptions.AirflowException:找不到dag_id

浏览 18提问于2019-01-15得票数 0

1回答

airflow单元测试操作符，依赖于命令行参数

unit-testing、parameters、airflow

Airflow允许通过命令行或实验性rest api将参数传递给dags。例如：运算符的常用单元测试示例如下所示： self.assertEqual(result, 'foo') 在类似上面

浏览 3提问于2018-08-25得票数 1

回答已采纳

1回答

将命令行参数(参数解析器)传递给气流PythonOperator

python、airflow、workflow、argparse

是否有方法将命令行参数传递给气流PythonOperator。目前，我有一个python脚本，它接受一些参数并执行一些特定的活动。我正在从脚本中调用这个方法。我给出了我为DAG编写的脚本如下：from airflow.models import DAG op_args = ['-f','Hello',

浏览 4提问于2022-09-23得票数 0

1回答

MWAA自定义操作员(通过插件)继承从亚马逊供应商安装通过pip抛出坏插件：.没有命名的模块

python、amazon-web-services、airflow、mwaa

滴答是我的自定义操作员在亚马逊提供商包上中继，该包是通过pip (requirements.txt)安装的。我继承的运算符是EmrContainerOperatorplugins`-- operators `-- my_operator.pyfrom airflow.plugins_manager import==3.3.0 apache-<em

浏览 7提问于2022-10-10得票数 0

1回答

Airflow -如何访问非模板化字段中的执行参数？

python、jinja2、airflow

我已经设法在我的Airflow 1.10.15dag中检索到了执行参数，但只能在here描述的模板化参数(如PythonOperator和BashOperator)下进行检索我需要在未模板化的运算符字段中使用execution参数，即GoogleCloudStorageToBigQueryOperator - field_delimiter和其他一些字段。

浏览 22提问于2021-05-07得票数 1

1回答

如何在`KubernetesPodOperator`中引用DAG的执行日期？

kubernetes、airflow

我正在编写一个Airflow DAG，以便从API中提取数据并将其存储在我自己的数据库中。遵循We're All Using Airflow Wrong中概述的最佳实践，我将DAG编写为一系列KubernetesPodOperator，它们运行非常简单的Python函数作为Docker映像的入口点如果我使用的是PythonOperator (doc)，我可以使用provide_context参数使函数可以使用执行日期。但是从the KubernetesPodOperator's documentation来看，Kuber

浏览 8提问于2019-04-22得票数 4

回答已采纳

点击加载更多