1回答
在spark上寻找kedro+ airflow的实现。这个插件现在可以用于spark了吗？ 查看了PipelineX，但在spark上找不到相关的示例？
浏览 8提问于2020-08-14得票数 0
我正在尝试从我创建的目录文件中获取数据集列表，并将它们作为单个节点的输入传递进来，以组合它们，并最终使用kedro-airflow插件在气流上运行管道。这在kedro运行的cli上有效，但在气流中似乎失败了，我不知道为什么：def create_pipeline(**kwargs): ])
我在气流上遇到的</e
浏览 4提问于2020-09-24得票数 0
我们正在寻找一种管理多个服务器、集群和数据科学管道的解决方案。我喜欢kedro，但不确定在使用kedro时管理所有这些的最佳选择是什么。总之，我们正在寻找最好的解决方案来管理多个模型、任务和管道，在不同的服务器和可能的星火集群中。我们目前的选择是：
AWS作为我们的数据仓库和数据库，用于管理服务器、集群和任务。我不认为databricks的笔记本是构建管道和协同工作的好解决方案，所以我想将<em
浏览 5提问于2020-11-20得票数 5
回答已采纳
我遇到了一个叫做LivyBatchOperator的东西，但是找不到一个很好的例子让它在气流中提交火花源应用程序。任何有关这方面的信息都将不胜感激。提前谢谢。
浏览 5提问于2020-06-30得票数 2
回答已采纳
我试图通过运行正式的气流对接器来学习一点气流，按照这里的指令组成图像: https://airflow.apache.org/docs/apache-airflow/2.0.1/start/docker.html我能够启动所有这样的服务，当我将我的测试DAG放在./dags文件夹中时，我最终在UI中看到了我的DAG并可以运行它。
但这花了几分钟。每次我“部署”一个新的dag
浏览 4提问于2022-11-30得票数 1
回答已采纳
我转到Ubuntu，想玩我的一些老蒸汽游戏，如星球大战战场2 (2005)使用葡萄酒。我知道如果安装和使用不当，葡萄酒会引起安全问题，这将困扰我，因为我真的很重视安全问题。
浏览 0提问于2018-08-12得票数 1
在反向ETL中构建的话)我遇到的问题是：下面是这些工作流在各自的工具中的表现(E =提取，L= Load，T= Transform)
hevo : E+L ( hevo )工作流中的->中断：->作业(可在fivetran UI中触发)工作流中的</
浏览 15提问于2022-07-07得票数 1
我有一个DBT项目，它主要由雪花上视图的模型组成，外部tables.Every模型视图是通过一个单独的dbt语句同时触发的。dbt run --models model_for_view_1最近我注意到，每当我构建视图模型时，这个表模型都是由DBT构建的。我认为这是因为DB
浏览 15提问于2022-04-28得票数 2
回答已采纳
12回答
我正在使用气流作为我的数据管道项目。我已经在气流中配置了我的项目，并使用以下命令作为后端进程启动了气流服务器服务器在后端成功运行。现在，我希望在气流中启用身份验证，并在airflow.cfg中完成配置更改，但是身份验证功能没有反映在服务器中。当我在本地机器中停止并启动气流服务器时，它就工作了。那么，如何在我的服务器中重新启动守护进程气流How服务器进程呢？
浏览 8提问于2016-08-22得票数 57
回答已采纳
8回答
我是说服务器房里的墙壁通常很少或根本没有完工。衣架是用金属做的。几乎所有的单位都有金属外壳。电缆有(或至少应该有)绝缘材料，不会蔓延火灾。
什么是在服务器室或数据中心蔓延的火？
浏览 0提问于2010-07-06得票数 54
回答已采纳
1回答
消息必须在合理的延迟内传递(可能.最多20秒)
我只有大学和TCP套接字的记忆，这是最近对gRPC &协议缓冲区的一次尝试，但这些看起来都不太合适PubSub API坚持.？
卡桑德拉或MongoDB看起来是个不错的选择.火基实时数据库/修复？这里的优点是抽象出大量的复杂性，我们只需发送数
浏览 7提问于2022-08-11得票数 -1
2回答
动机便携式转轮在其容器内创建火花上下文，并且不为驱动程序DNS配置留出空间，使工人舱内的执行器非传染性地传递给驱动程序(作业服务器)。设置
在beam文档之后，作业serer在
浏览 5提问于2021-02-22得票数 3
回答已采纳
我有一个火软管流，目的是摄取数百万来自不同来源和不同事件类型的事件。流应该将所有数据作为原始\未修改数据的存储传递到一个S3桶中。我正在考虑根据事件消息中嵌入的元数据(比如事件源、事件类型和事件日期)在S3中对这些数据进行分区。
但是，Firehose遵循基于记录到达时间的默认分区。是否可以自定义此分区行为以满足我的需要？更新:接受的答案被更新，因为一个新的答案表明该特性在2021年9月可用。
浏览 0提问于2018-07-12得票数 17
回答已采纳
我需要使用贝宝的IPN来创建一个客户网站上的订单。他为他的客户创建了kydex套套，所以我需要在订单上有多种选择。此外，在交易完成后，我需要发送一封包含发票的电子邮件给客户，以及我的客户。我在谷歌上的运气不太好。
浏览 5提问于2014-01-27得票数 0
回答已采纳
19回答
爱丽丝和刮痕看上去太孩子气了，虽然我敢肯定我表哥会喜欢这样，但我想他很快就会感到厌烦的。我想要一种要求我表弟写代码的语言。在我看来，即使是像Python或Ruby这样的简单语言也要花很长时间才能构建出很酷的东西。理想的<
浏览 0提问于2011-12-23得票数 19
回答已采纳
我希望为一个web业务建立一个服务器场，我需要前端的webservice服务器和一个常见的NAS文件服务器后端。有没有人能给我提供任何具体的生活经验和建议？
浏览 0提问于2009-07-13得票数 3
10回答
据我所读和听到的数据中心，没有太多的服务器房间使用水冷却，而最大的数据中心没有一个使用水冷却(如果我错了，纠正我)。此外，使用水冷方式购买普通PC组件相对容易，而水冷机架服务器几乎不存在。另一方面，使用水可能(海事组织)：减少噪音，减少人类在数据中心工作的痛苦。减少服务器所需的空间：在数
浏览 0提问于2011-04-27得票数 23
回答已采纳
26回答
这是典型问题的意思是“我应该自己构建编译硬件吗？”问题。
我安装了无数台电脑，但从来没有一台大型服务器。我里面的极客说要建造它，但我里面的现实主义者说，当有问题时，让制造商来处理。忽略构建的初始装配时间所涉及的时间损失，哪个是更好的解决方案？您是否曾经遇到过家庭构建服务器的问题，如果与制造商一起解决这个问题会更容易/更快/更便宜？有什么功能是制造商提供的，而不是很容易实现的家用服务器？
浏览 0提问于2009-05-29得票数 15
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
