我的程序无法在运行apache airflow的docker容器中创建SSH隧道。只有在我的本地机器上运行函数才能正常工作。我有一个服务器列表，用于创建隧道、查询数据库和关闭连接。然而，在Docker中，它不起作用。我意识到docker运行并绑定到端口，而实际上并不是主机系统的一部分，所以我使用network_mode="host"来帮助缓解这
浏览 16提问于2019-06-22得票数 2
我见过Jsch以编程方式设置ssh隧道的例子，但无法找到任何关于如何将Jsch与spring数据集成的资源。我看到的一个问题是，我的某些spring (即org.apache.commons.configuration.DatabaseConfiguration)是在应用程序启动时创建的，并且已经需要访问数据源我可以在应用程序之外打开ss
浏览 7提问于2015-11-05得票数 1
回答已采纳
我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。请参阅参考- 从airflow.contrib.hooks.sftp_hook导入SFTPHook
我已经创建了一个插件类，稍后将其导入到我的
浏览 4提问于2020-05-13得票数 2
1回答
为了使气流有用，我需要能够使用Git-同步功能，以便DAG可以从Pod中分开存储，因此在Pod降级或重新启动时不会被重置。我正试图用ssh来设置它。我一直在寻找关于气流配置的良好文档，或者关于如何正确设置这个配置的教程，但是这是徒劳的。我非常感谢在这里提供一些帮助，因为我在这方面已经挣扎了一段时间。= 1git_dags_folder_mount_point = /usr/local/air
浏览 6提问于2020-06-03得票数 2
我一直在尝试SparkSubmit程序的气流，但火花文件在一个不同的集群(1**.1*.0.21)和气流在(1**.1*.0.35)。我正在寻找一个详细的解释这个主题的例子。我不能复制或下载任何xml文件或其他文件到我的气流集群。
当我试着使用SSH钩子时，上面写着。尽管我对使用SSH运算符和BashOperator有很多疑问。Broken DAG: [/opt/airflow/dags
浏览 6提问于2020-01-01得票数 0
回答已采纳
我正在使用远程AWS EC2实例上的一个停靠程序来运行我的代码。我当前的工作流程是编辑本地机器上的代码，将其推送到git，然后登录到EC2机器和其中的对接器容器中，以提取代码并运行它。我想知道是否可以在EC2实例中将Spyder的控制台附加到坞内的内核。所以我的登录顺序是：
localhost~: ssh -XYA remote-ec2.domain.ext remote-ec2
浏览 0提问于2018-12-21得票数 2
回答已采纳
我有一个用Ganymed的LocalPortForwarder类创建的ssh隧道。它运行良好。问题是如何(在Java中以编程方式)检查隧道是否仍处于打开和活动状态？作为参考，下面是创建隧道的代码片段(为了简洁起见，删除了错误检查)：
conn.connect();
浏览 3提问于2010-08-23得票数 1
我在远程服务器上访问PostgreSQL数据库的标准过程是首先创建一个ssh隧道，如下所示：然后从另一个shell运行python中的查询，如下所示：
conn = psycopg2.connect("host=localhost" + " dbname=" +" passw
浏览 7提问于2014-02-26得票数 17
回答已采纳
我以前已经成功地将它安装在centos7中的VMware中。但是，以同样的方式，在docker中手动从centos7安装存在问题。(CentOS的正式构建。)AIRFLOW_HOME目录中不会创建任何文件。) [jykim@0f0090962efa airflow_home]$ pwd
/home/jykim/dev/airflow/airflow_
浏览 2提问于2021-05-21得票数 0
回答已采纳
4回答
唯一的区别是我在码头里运行气流
我想启动气流与requirements.txt的依赖关系。有没有不需要重建图像的解决方案？
浏览 12提问于2021-06-08得票数 15
回答已采纳
设置部分AIRFLOW_HOME=~/Desktop/airflow出口
python3-m venv ~/Desktop/气流
然后我做了pip3安装apache-气流=1.10.9
气流强度
浏览 1提问于2020-06-07得票数 4
我被要求学习Docker，以便我们最终能够在Apache Airflow Docker + Kubernetes集群中设置我们的web抓取脚本。如果我用错了这些术语，那是因为我是码头的初学者。到目前为止，Apache Airflow确实有自己的映像，但是他们的表明，安装python包的唯一方法是通过pip install --user -r requirements.txt安装，我已经将pip问题是
浏览 23提问于2022-05-30得票数 6
我正在做Airflow 1.10。 我在KubernetesPodOperator上运行命令时遇到了问题，在DAG运行时会对整个命令进行评估。我在DAG运行时生成命令，因为命令的一些参数取决于用户传递的参数。from airflow.operators.python_operator import PythonOperator
from airflow.contrib.operators.kubernetes_pod_operator
浏览 65提问于2021-08-06得票数 0
回答已采纳
我正在尝试使用DAG以编程方式在Airflow中创建Snowflake连接。但是，在Airflow中运行DAG文件后，将在没有密码和连接类型的情况下创建连接。请给我建议。python代码如下： default_args = { 'depends_on_past': F
浏览 13提问于2020-01-31得票数 0
1回答
我通常会在我的python脚本中创建一个全局logger，然后在所有函数的日志中写入我自己的消息。我知道Airflow有自己的日志记录功能，但我发现它们太冗长了，无法浏览。有没有办法为所有任务创建我自己的日志函数，使日志只包含我的自定义日志消息？
浏览 65提问于2021-07-21得票数 0
回答已采纳
8回答
我有一个进程，我们将部署到多个不同的气流实例，在我们的airflow.cfg中，我们有dags_are_paused_at_creation = True，但是对于这个特定的进程，我们希望通过单击UI来打开它有办法以编程的方式完成吗？
浏览 8提问于2017-06-05得票数 16
回答已采纳
因此，在我的例子中，我以前在我的机器上直接运行过气流，现在我尝试使用码头在容器中运行，同时保持我以前的测试记录。不过，我一直有一些问题。但是，当我解决这个问题时，代码不会改变，DAG仍然会中断。: pipeline-scripts
浏览 13提问于2022-02-01得票数 1
回答已采纳
可以为无人值守的ssh登录设置bastion主机吗？可能的用例：Cron作业脚本
预定备份脚本
浏览 0提问于2021-09-08得票数 1
我需要创建隧道来从数据库中读取信息。我使用的是Paramiko，但我还没有使用过隧道。请提供一个创建和关闭通道的简单代码示例。
浏览 0提问于2011-11-17得票数 30
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
