腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Python
airflow
dag
代码
中
调用
Spark
Scala
函数
python
、
scala
、
airflow
我的
Spark
管道是用
Scala
编写的,
Airflow
DAG
是用
Python
编写的。 我正在做一个运行任务的功能,当
dag
触发日期等于表
中
的run_date时,否则跳过它。我已经在
Scala
中
编写了一个
函数
来
从
hive表
中
获取该日期。我想从
Python
DAG
文件
中
调用
此
函数
,以便获得日期值
浏览 55
提问于2021-11-16
得票数 0
回答已采纳
1
回答
如何使用
Scala
运算符在
Airflow
中
运行
Scala
代码
scala
、
airflow
我刚刚写了一个恢复过程给俄罗斯航空公司,它看起来很适合气流,我正在寻找一些气流运算符到
Scala
。
浏览 18
提问于2021-08-09
得票数 0
回答已采纳
1
回答
气流
DAG
中
的火花感知
python
、
apache-spark
、
airflow
我正试图在一个气流
DAG
中
启动一个火花会话,这就是我遇到的错误 File "/home/
airflow
/.local/lib/
python
3.7/site-packages/pyspark
浏览 17
提问于2022-07-08
得票数 0
3
回答
如何在
Airflow
中
运行
Spark
代码
?
java
、
python
、
apache-spark
、
directed-acyclic-graphs
、
airflow
我正在使用
Airflow
来安排和运行
Spark
任务。到目前为止,我发现的是
Airflow
可以管理的
python
DAG
。
DAG
示例:import logging from
airflow
.operators import PythonOperator) , 'provide_context': Tru
浏览 0
提问于2016-10-03
得票数 41
回答已采纳
1
回答
从
气流作业执行SparkSubmitOperator错误
linux
、
apache-spark
、
airflow
、
pyspark-sql
无论我尝试什么,我都会在气流日志
中
收到以下消息。如果我从命令提示符中提交目标DataPipelineExample.py,它将运行而不会出现问题。附加:{ "root.default",:"
spark
_home":“
spark
_home”:“火花-提交”,“命名空间”:“默认”}export
SCALA
_HOME=~/anaconda3/share/
scala
-2.11.1 expor
浏览 5
提问于2020-03-18
得票数 1
3
回答
在气流(1**.1*.0.35)
中
从不同的集群(1**.1*.0.21)运行星火提交程序。如何在气流中远程连接其他机群
apache-spark
、
pyspark
、
airflow
、
remote-server
、
spark-submit
Broken
DAG
: [/opt/
airflow
/dags/s.py] No module named paramiko
浏览 6
提问于2020-01-01
得票数 0
回答已采纳
3
回答
需要帮助运行火花-在Apache气流中提交
python
、
bash
、
apache-spark
、
airflow
、
spark-submit
我是
Python
的一个相对较新的用户,很难让
spark
-submit在气流任务
中
运行。我的目标是使以下
DAG
任务成功运行from
airflow
import
DAG
) 我知道问题在于气流,而不是bash,因为当我在终端
中</em
浏览 0
提问于2019-08-28
得票数 1
回答已采纳
1
回答
当
Spark
和
Airflow
都安装在同一个虚拟环境
中
时,我如何
从
Airflow
运行
spark
-job?
apache-spark
、
pyspark
、
virtualenv
、
airflow
我正试图在我的笔记本电脑上运行
Airflow
测试ETL pyspark作业。我已经在同一个虚拟环境
中
安装了
Spark
和
Airflow
。值得一提的是,我可以
从
虚拟环境
中
成功运行作业,但它在
Airflow
中
失败。
从
Airflow
日志
中
,我可以看到ETL任务失败,因为它在尝试执行时在临时目录
中
查找
dag
文件。>
AIRFLOW
_CTX_
D
浏览 65
提问于2021-02-24
得票数 1
1
回答
在气流EMR操作步骤中使用Json输入变量
amazon-emr
、
airflow
创建一个
DAG
,使用
spark
submit
调用
一个emr实例。在设置
spark
_test_steps时,我需要包含
从
POST Json传入的变量来填充
spark
submit,如下所示:
SPARK
_TEST_STEPS = [ 'Name,同时仍然遵循git链接
中
给出的格式,如下所示?', provide_c
浏览 15
提问于2019-10-05
得票数 1
3
回答
如何在
airflow
中使用--conf选项
airflow
、
apache-airflow
、
airflow-scheduler
我正在尝试运行一个气流
DAG
,需要为任务传递一些参数。 在
python
DAG
文件
中
,如何读取在命令行trigger_
dag
命令
中
作为--conf参数传递的JSON字符串。例如:
airflow
trigger_
dag
'
dag
_name' -r 'run_id' --conf '{"key":"value"}'
浏览 5
提问于2017-08-30
得票数 13
1
回答
如何使用传入的输入json配置值来触发
dag
内部的气流作业?
python
、
google-cloud-platform
、
airflow
我对气流很陌生,我需要在用例
中
读取传入的json信任信息,然后根据所读取的信任值构造一个字符串,这个字符串将用作我们正在GCP数据过程
中
创建的集群的名称。例:输入Json到
dag
我希望集群名是“engg”,并包含下面的
代码
,但是我得到了一个错误,就像它无法识别"
dag
_runfrom datetime import dateti
浏览 6
提问于2022-06-09
得票数 2
回答已采纳
2
回答
无法使用
Airflow
DAG
中
的SparkKubernetesOperator在Kubernetes集群上创建SparkApplications
docker
、
kubernetes
、
pyspark
、
airflow
、
amazon-eks
DAG
中
的SparkKubernetesOperator在Kubernetes集群上创建SparkApplications。namespace:
spark
-apps type:
Scala
image: "gcr.io/
spark
-operator/
spark
:v3.1.1a
DAG
# Operato
浏览 2
提问于2021-07-14
得票数 3
1
回答
气流emrAddStepsOperator无法执行火花遮阳罐
apache-spark
、
airflow
、
hadoop-yarn
、
amazon-emr
、
distributed-computing
从
创建集群开始,添加步骤/操作,检查步骤,最后结束集群。import time from datetime import timedeltafrom
airflow
import
DAG
from
airflow
.providers.amazon.aws.operators.emr_add_steps import EmrAddStepsOperat
浏览 0
提问于2022-06-08
得票数 0
回答已采纳
4
回答
气流
中
的
Python
脚本调度
python
、
apache-spark
、
scheduling
、
reload
、
airflow
大家好,注意:请不要用如何在气流
中
运行bash脚本文件来标记这个副本,因为我需要运行位于不同位置的
pyt
浏览 4
提问于2017-01-18
得票数 31
2
回答
无法向apache气流安装附加要求。
python
、
docker
、
docker-compose
、
airflow
我使用的是下面的停靠-组合映像,我
从
以下位置获得了这个映像:x-
airflow
-common: &
airflow
-common environment: &
airflow
-common-env
AIRFLOW
__CORE__EXECUTOR:
浏览 26
提问于2021-06-05
得票数 17
回答已采纳
1
回答
无法将
scala
.collection.immutable.List$SerializationProxy实例分配给字段org.apache.
spark
.sql.execution.datasources.v2
apache-spark
、
pyspark
、
spark-streaming
、
spark-structured-streaming
、
spark-submit
在这个火花作业
中
,我使用writestream foreachBatch
函数
来编写流数据,并且只在尝试编写数据时才使用该问题所面临的接收器类型:import
airflow
from
airflow
import
DAG
from time import sleep
dag</
浏览 15
提问于2022-08-24
得票数 0
回答已采纳
1
回答
气流
DAG
中
的可变边缘/子边缘重用
python
、
airflow
_2 = get_
spark
_k8s_tasks_tuple(task_etl_2)
dag
_build = start_
dag
>> run_bronze >run_etl_2 -> wait_etl_2 -/def get_
spark
_k8s_tasks_tupl
浏览 3
提问于2021-06-15
得票数 0
2
回答
在气流数据采集中如何利用WasbHook
从
Azure
中
获取blob列表
python
、
azure
、
airflow
、
azure-blob-storage
、
keyword-argument
我有一个简单的
DAG
用于使用Azure Blob存储。import
airflow
from
airflow
.contrib.hooks.wasb_hook import WasbHook "start_date":
airflow
.utils.dates.days_ago(2)} <
浏览 5
提问于2020-07-22
得票数 0
回答已采纳
1
回答
DAG
运行成功,但在
Airflow
but服务器UI
中
,
DAG
不可用/在Google Cloud Composer
中
无法单击
DAG
python
、
airflow
、
google-cloud-composer
下面是
airflow
DAG
代码
。无论是在本地托管
airflow
时,还是在cloud composer上,它都能完美运行。但是,无法在Composer UI
中
单击
DAG
本身。我找到了一个类似的问题,并尝试了
中
链接的被接受的答案。我的问题与此类似。import
airflow
from
airflow
.operators.dummy_operator
浏览 13
提问于2019-03-28
得票数 1
回答已采纳
1
回答
Airflow
SparkSubmitOperator推送到xcom的值
python
、
pyspark
、
pipeline
、
airflow
在我的
airflow
spark
作业
中
,我需要将
spark
作业统计信息传递给工作流
中
的其他任务。如何将值
从
SparkSubmitOperator推送到xcom?task1 = SparkSubmitOperator( conn_id='
spark
_default', conf
浏览 19
提问于2019-06-10
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
加米谷大数据:Python和Scala语言利弊
调度工具Airflow
PySpark数据分析基础:PySpark原理详解
Spark1.6官方文档译文系列一
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券