ETL与工作流管理以及应用哪个？它们可以使用相同的方式吗？
ETL（Extract, Transform, Load）与工作流管理是云计算领域中常见的数据处理和任务调度技术。它们虽然有一些相似之处，但在功能和应用场景上有所不同。
ETL是一种数据处理过程，用于从不同的数据源中提取数据，经过转换和清洗后加载到目标数据仓库或数据库中。ETL的主要目标是将数据从源系统中抽取出来，进行必要的转换和清洗，最后加载到目标系统中，以支持数据分析和决策。ETL通常用于数据仓库、商业智能和数据分析等场景。
工作流管理是一种任务调度和流程管理技术，用于定义、执行和监控复杂的业务流程和任务流。它可以将多个任务按照一定的逻辑顺序组织起来，并根据预定的规则和条件自动触发和执行这些任务。工作流管理通常用于业务流程自动化、任务调度和协同工作等场景。
虽然ETL和工作流管理在某些方面有相似之处，例如它们都涉及到任务的执行和数据的处理，但它们的功能和应用场景是不同的。ETL主要用于数据处理和数据集成，而工作流管理主要用于任务调度和流程管理。
在实际应用中，ETL和工作流管理可以使用相同的方式进行开发和管理，例如使用编程语言（如Python、Java）或专门的工具（如Apache Airflow、Talend等）。然而，由于它们的功能和应用场景不同，通常会选择不同的工具和技术来实现它们。
对于ETL，腾讯云提供了一系列相关产品和服务，例如腾讯云数据传输服务（Data Transfer Service）和腾讯云数据集成服务（Data Integration Service），用于实现数据的抽取、转换和加载。您可以通过以下链接了解更多信息：
- 腾讯云数据传输服务：https://cloud.tencent.com/product/dts
- 腾讯云数据集成服务：https://cloud.tencent.com/product/di
对于工作流管理，腾讯云提供了腾讯云工作流（Tencent Workflow），用于实现任务调度和流程管理。您可以通过以下链接了解更多信息：
- 腾讯云工作流：https://cloud.tencent.com/product/wf
相关·内容
我都
tivoli为Informatica工作流安排了一项任务。我已经检查了属性以保存5次运行的工作流日志。
作业在informatica中运行良好，但如果您尝试使用pmcmd从tivoli运行，则无法重命名工作流日志文件。
pLease帮助，我得到了这个错误：
工作流日志文件E:\Informatica\etl_d\WorkflowLogs\wf_T.log.bin不能重命名为E:\Informatica\etl_d\WorkflowLogs\wf_T.log.4.bin.有关更多信息，请查看Integration日志。从集成服务断开连接
浏览 1提问于2014-03-13得票数 0
1回答
我有过使用oracle JPD(工作流引擎)的经验，现在我们已经决定在我们的项目中使用开源工作流引擎。谷歌几周后，我们正在考虑使用JBOSS，但与我过去在甲骨文JPD的经验相比，我没有获得足够的相关信息。
在oracle中，我们在编辑器中设计过程，创建ear并在weblogic.The web控制台上部署，用于所有与进程相关的内容，如版本控制过程、触发任务、停止任务等。是否有为JBOSS建立的程序。在搜索了几个小时之后，我发现了下面的选项1.DeployasWAR和您的应用程序2。
我关心的是，我希望将它部署为独立的实体，例如在我的应用程序外部作为jar或ear。
2.如何通过外部
浏览 0提问于2013-03-28得票数 1
1回答
我正在熟悉打包、构建和部署软件的体系结构和实践，除非是一些小的软件。
如果我突然把概念和特定的工具(有时是不可避免的)混合在一起，请告诉我我是否错了。
在路上，我一直在阅读和学习关于图像和容器的术语及其各自的关系，以便开始构建工作流软件系统的一种更好的可能的方式。
我有一个关于码头背景下的服务编排的问题：
容器是一个环境的轻量级和可移植封装，在这个环境中，我们需要运行应用程序所需的所有二进制和依赖项。好的
我可以使用容器链接 --link标志来设置容器之间的通信。
我可以替换容器链接的使用，用坞-合成，以便自动化我的服务工作流和运行多容器使用.yaml文件配置。
我正在阅读容器
浏览 0提问于2018-12-16得票数 0
回答已采纳
1回答
我使用ETL管道将事务数据从Netsuite读取到我的数据仓库中。当我尝试加载数据时，收到以下消息： RCRD_LOCKED_BY_WF: This record has been locked by a user defined workflow. 我有一个活动的工作流程来锁定一些交易记录。我的问题是:有没有办法允许某些用户(在我的例子中是管理用户)通过API读取锁定的Netsuite记录？
浏览 17提问于2019-04-20得票数 0
回答已采纳
3回答
有向无环图动态作业调度程序
、、、、
我需要管理ETL任务的大工作流，它的执行取决于时间、数据可用性或外部事件。有些作业在执行工作流时可能会失败，系统应该能够重新启动失败的工作流分支，而无需等待整个工作流完成执行。
在python中有任何框架可以处理这个问题吗？
我看到了几个核心职能：
达格胀
节点的执行(使用等待、日志记录等运行shell cmd )
在执行过程中重建父DAG中的子图的能力
能够在父图运行时手动执行节点或子图。
等待外部事件时挂起图形执行
列出作业队列和作业详细信息
类似于，但更通用，在python中。
浏览 12提问于2013-01-12得票数 28
回答已采纳
2回答
AWS中基于依赖关系的ETL流
、、、、
我们希望基于S3中的输入数据创建一个动态流。基于S3中可用的数据以及元数据，我们希望在系统中创建动态集群和动态任务/转换作业。有些工作是基于依赖性的。在这里，我分享了预期的流程，希望知道我们如何使用AWS服务和env有效地完成这一任务。
我正在探索AWS SWF，数据管道和Lambda。但是现在可以确定如何处理动态任务和动态依赖关系。任何关于这件事的想法。
数据流在附图(参见ETL ) 中解释。
浏览 0提问于2017-09-11得票数 1
回答已采纳
我对Talend ETL工具非常陌生。
我有一个非常基本的问题:我可以在运行时更新Talend ETL工具中的设计工作流程和转换吗？
我的意思是，假设我的应用程序在服务器上运行。现在，我想要更改正在运行的应用程序的设计工作流，以便应用程序在运行时更新为新的设计工作流。类似地，我想在运行时更改转换逻辑。我认为MuleSoft提供了这个条款。
请你帮个忙。提前谢谢。
浏览 1提问于2020-08-22得票数 1
对于客户端，我们创建的系统必须支持以下内容：
必须能够运行多个工作流，以及具有不同上下文(不同数据/业务对象)的同一工作流的多个实例。某些工作流将长期运行，涉及多个用户/客户端会话并等待外部用户输入。因此，工作流必须能够持久化，并响应来自客户端应用程序的某些信号。这也意味着工作流的执行必须在服务器应用程序上完成(对吗？)。我希望能够在服务器应用程序上运行所有类型的工作流，并且我不希望在工作流发生变化时必须重新部署服务器应用程序。
我的第一个想法是工作流服务。经过大量的研究，我得出的结论是，这不是正确的路径，因为工作流服务基本上提供了在客户端应用程序中启动的工作流在远程位置执行活动的可能性。这是
浏览 2提问于2011-03-11得票数 6
回答已采纳
在文档中，我没有发现提到以编程方式触发工作流(例如，将数据从关系型数据库加载到S3中)。我也没有在AWS Lake find的API规范中找到任何东西。我们正在使用Airflow来调度我们的ETL管道，如果我们可以通过API调用来触发工作流，那就太好了。
浏览 39提问于2019-11-05得票数 0
回答已采纳
2回答
的POC
、、
我是银行的技术人员，我的工作范围主要是ETL和报告。我们刚刚在我的部门建立了ETL团队，我们希望有一些工具可以帮助我们进行源代码控制和发布管理。我在市场上知道的工具之一是TFS。
我将要求TFS供应商向我们提供POC，而且由于我对TFS的了解非常有限，我希望从您的人员那里得到一些建议，我应该向我们询问供应商演示的是什么类型的POC，是否有一套突出TFS 2010功能的场景想法？非常感谢
浏览 11提问于2015-12-04得票数 1
回答已采纳
1回答
Oozie工作流导入失败
、、、、
我在Oozie上工作，以自动化ETL，这涉及100多个步骤。我能够在开发过程中成功创建工作流，当我试图使用色调的导出和导入功能移动这个庞大的工作流时，cluster.The出现了问题。在导入工作流时，我收到一个奇怪的错误(请原谅我的无知)。出口运行良好。
{"message": "Problem installing fixture '/tmp/tmp31Ptfm.json': Document2 matching query does not exist."}
提前谢谢。
浏览 1提问于2018-04-23得票数 0
我有多个谷歌数据流作业，用于数据收集和ETL目的。然后google dataproc作业(Spark)用于进一步的机器学习。
我想把这些工作像工作流一样绑在一起，然后我就可以安排整个工作流程了。
你有什么建议/产品可以帮助我吗？
浏览 0提问于2016-05-26得票数 2
2回答
对于以下两个查询，我得到了不同的结果，我不知道为什么。唯一的区别是一个人有一个IN和一个等价者。
在进入查询之前，您应该知道，通过将子查询移动到一个公共表表达式，您应该知道我找到了一种更好的方法，但这仍然让我抓狂！我真的很想知道是什么引起了这个问题，我只是好奇地问。
下面是第一个查询：
use [DB.90_39733]
Select distinct x.uniqproducer, cn.Firstname,cn.lastname,e.code,
ecn.FirstName, ecn.LastName, ecn.entid, x.uniqline
from product x
join e
浏览 1提问于2017-03-23得票数 4
回答已采纳
我读到过Presto用于即席查询，而Hive/spark更适合用于ETL场景的apt。在ETL中不使用Presto的原因似乎是因为Presto查询可能会失败，并且没有中间查询容错。
然而，看起来我们可以通过在我们的日常Jenkins工作流程中使用Presto以及在查询失败的情况下重试来绕过它。有没有人尝试过使用这种方法，或者他们对这种方法有什么缺点？
如果你在ETL中使用Presto，你的Presto集群有多大？您的presto集群使用哪种EC2实例？
浏览 0提问于2018-07-31得票数 5
我们正在使用GCP中的公共和云功能来协调我们的数据工作流。
我们的工作流程类似于：
pubsub1和pubsub3可以在不同的时间触发(例如:凌晨1点和凌晨4点)。他们每天被触发，从外部来源(我们的ETL，Talend)。
我们的云函数基本上在BigQuery中执行SQL。
这很好，但是我们必须手动创建一个编排数据库来记录函数何时开始和结束(回答“函数X已执行好吗？”的问题)。业务逻辑与业务逻辑有很强的耦合，因为云功能必须知道之前必须执行哪些功能，以及之后要触发哪些pubsub。
因此，我们正在寻找一个分离业务逻辑和业务逻辑的解决方案。
我发现composer (气流)可以是一个解决方案，但
浏览 0提问于2020-04-16得票数 2
回答已采纳
我最近学习了如何在我的工作流程中使用virtualenv和virtualenvwrapper，但我在一些指南中看到了pyenv，但我似乎无法理解pyenv是什么，以及它与virtualenv有何不同/相似之处。pyenv是virtualenv的更好的/更新的替代品，还是免费的工具？如果是后者，它有什么不同之处?两者(如果适用，还包括virtualenvwrapper )是如何协同工作的？
浏览 1提问于2015-04-30得票数 197
回答已采纳
1回答
我是一个新手vim用户，我非常喜欢vim，并希望将其带到我的开发工作流程的下一步。
我有4个不同的C/C++代码库，它们是用3个不同的编译器编译的。每个代码库都有自己的项目和生成文件供编译器使用。我保持编译器的开放状态来编译不同的项目。两个代码库用于设备的固件，一个代码库用于库，最后一个代码库用于跨平台桌面应用程序，该应用程序使用该库与设备进行对话。
我主要使用vim进行代码编辑，现在我有几个打开的vim窗口，即每个代码库一个。我经常退出vim编辑器来打开不同的代码文件，这是非常没有效率的。我经常需要在相同代码库的不同文件中查找函数。我经常必须在代码库之间切换，因为从一个代码库编译的软件处理由
浏览 8提问于2014-08-04得票数 0
8回答
工作流引擎的用例
、、、
我想知道你--所以读者--使用工作流引擎解决的具体问题，以及如果你不使用自己的工具，你使用了哪些库/框架。我还想知道什么时候工作流引擎不是最好的选择，以及是否/如何选择更简单的东西，比如使用状态机的TaskList/WorkList/Task-Management类型的应用程序。
问题：
您使用工作流引擎解决了哪些问题？
您使用了哪些库/框架？
什么时候像系统这样简单的状态机/任务管理就足够了？
奖金:你是如何区分和的？
我在找第一手的体验。
我查过的一些资源：
和
和
浏览 1提问于2010-03-01得票数 100
回答已采纳
我们正在开发一个应用程序，在这个应用程序中，用户可以设计自己的工作流(在web中)，然后将其提交执行。我们选择了jBPM作为我们的执行和工作流管理引擎。用户提交的工作流将被转换为jBPM (bpmn2)工作流。我们正在使用6.1.0.Final版本。由于这是一个多用户应用程序，支持并发工作流执行是一个主要需求。为了便于我们在风暴的基础上构建jBPM，例如，每个提交的工作流(由喷口提供)将在一个单独的螺栓中执行。
在再次浏览文档之后，我们发现使用每个流程实例是有意义的，它指示运行时管理器在kie会话和流程实例之间保持严格的关系。尽管在看了几个更多的示例和代码片段之后，我们对获得KieSessio
浏览 4提问于2014-08-21得票数 1
1回答
我试图使用气流摄取数据到红移。我的源数据库中有许多表，我用Python编写了模块，这些模块在Redshift中执行端到端的ETL。我打算使用气流来协调它们的执行，每个表的ETL将是DAG中的一项任务。他们关心的主要问题是，我希望避免为我的每个表建立到Redshift的连接。相反，我希望在开始时建立一次连接，并希望为我的每个下游任务重用该连接。我试过使用xcom，但似乎连接对象是不可挑选的，因此无法工作(“连接”被腌制的概念也没有多大意义)。我还尝试使用全局变量，如下所示，但它似乎不起作用，因为它显然是在为每个任务实例化一个新对象：
redcon = None
red_iam_role = No
浏览 0提问于2020-12-10得票数 2
尝试分享4.2c。
假设我创建了两个站点: siteA和siteB。(siteA用户和siteB用户在同一个用户库中。)我正在努力研究如何防止siteB用户访问siteA工作流。
在为siteA创建工作流时，如何防止siteB用户意外地被分配给站点A-工作流任务？也就是说，我需要确保选定的任务受让人仅是来自siteA的用户。或者，如果只在选择列表中显示siteA用户，情况会更好。
任何实现这一目标的线索或建议都将受到欢迎。
谢谢,
花生酱
编辑：作为开始，基本上我们想要的是这样的东西：
有几个allSites工作流将对所有成员可用，而不管站点成员是什么。
我们可以将工作流名称与网站名称进行前缀
浏览 3提问于2015-04-22得票数 0
3回答
ETL工艺设计与性能
、、、
我正在为一个使用C#的数据仓库开发一个ETL过程，它既支持Server也支持Oracle。在开发期间，我一直在编写将数据从一个数据库同步到另一个数据库的存储过程。存储过程代码很难看，因为它涉及动态SQL。它需要构建SQL字符串，因为我们有动态数据库名。
我的团队负责人希望使用C#代码来执行ETL。我们有代码生成，当数据库定义更改时自动生成新的类。这也是我决定不使用犀牛ETL的原因。
以下是正反两面：
存储过程：
优点：
快速加载过程中，所有事情都由数据库处理。
部署简单，无需编译。
缺点
由于动态SQL，可读性较差。
当数据库定义更改时，需要同时维护to和PL/SQL脚
浏览 1提问于2010-12-02得票数 6
回答已采纳
1回答
下面是一个通用的ETL流程图，我真的很困惑，在连接最终输出的线路上绘制这样的流chart.Especially是否是一个好的实践，以及用来概括从输入格式到“验证文件作为每种类型的文件”到“根据期望的输出进行调整”以及最后到“输出”的整个过程。
浏览 3提问于2013-11-08得票数 1
我一直面临着下面的代码块以一种奇怪的方式运行的情况。在下面的代码片段中，当我试图在标记库中对案例工作流的活动列表进行排序时，它会执行db update，而不仅仅是对数据进行排序。它会更新工作流行的版本。你能告诉我我遗漏了什么吗？快速帮助将非常感谢。
TagLib：
class CaseFormTagLib {
static namespace = 'caseform'
def caseForm = { attr, body ->
def caseWorkflow = CaseWorkflow.read(attr.workf
浏览 0提问于2014-04-04得票数 0
有人能告诉我SSIS包是怎么回事吗？
我对数据仓库完全是个新手，我对SSIS、DTL、ETL等术语都很着迷。我正在寻找一个更大的图景，以及它如何适应整个.NET/SQL Server架构。
浏览 2提问于2009-01-18得票数 77
回答已采纳
1回答
问题:在内容编辑器中，拥有编辑内容和发布内容权限的web编辑器经常忘记转到Edit>Approve并发布内容，相反，他们只是保存并尝试按下发布按钮，该按钮将发布到主服务器，而不是实时生产服务器。我知道approve和publish会将页面放入最后的工作流步骤，而(至少在我们的服务器上) publish按钮不会。我想知道是否可以将发布按钮更改为“批准和发布”，这是否会给拥有编辑权限但没有发布权限的人带来任何问题。
同样，我们的管理员可以使用Publish按钮保存和发布，而不需要使用Edit>Approve和publish进行审批，但他们不能使用新页面执行此操作。新的页面必须被批准和发
浏览 9提问于2014-06-07得票数 0
我有一个Python脚本，它指向elasticsearch集群，对数据执行聚合和计算，然后将洞察存储在本地PostgreSQL中。该脚本可以每天或每周运行，具体取决于用户首选项，如下所示：
python script.py --approach daily
python script.py --approach weekly
我想让这个数据流工作流程通过Airflow每10分钟运行一次。
我的猜测是使用bashoperator创建一个任务t1 = bashoperator和t2 = bashoperator，前者将bash命令python script.py --approach daily
浏览 1提问于2021-02-25得票数 2
在我的Github工作流中，我正在检查两个存储库。随后，我将工作流回购"repoA“的两个目录与repo "repoB”合并。当推到repoB时，我会得到一个错误：
From ../repoA
* [new branch] master -> workspace/master
Automatic merge went well; stopped before committing as requested
[master cbd72fe] Update
To https://github.com/username/repoB.git
! [remot
浏览 1提问于2020-06-09得票数 5
回答已采纳
我的任务是找出哪个工作流有创建特定电子邮件的任务。创建的电子邮件没有什么特别之处，它只包含Test的主题行以及联系人和所有者信息。由于我们有大量的进程，是否可以将其中一个创建的电子邮件追溯到创建它的工作流？
谢谢
浏览 2提问于2013-01-18得票数 1
回答已采纳
我想安装一个argo工作流模板和工作流cron作业作为舵机图表。helm命令说已经安装了图表。但是我看到只有工作流模板被部署了，而cron作业却没有。
文件夹结构：
Argo_helm
|- templates
|-azure-migration-cron-etl.yaml
|-azure-migration-etl-template.yaml
|-Chart.yaml
|-values.yaml
当执行helm命令时，我看到如下
helm upgrade --install argo-helm-charts --values values.yaml .
WAR
浏览 1提问于2021-02-08得票数 1
回答已采纳
目前，我正在从Server 2012迁移到2016。我扩展了ETL项目，然后将TargetServerVersion设置为Server 2016，并签入到TFS。当我打开其中一个时，Visual总是希望签出解决方案文件。有没有人能给我一个提示，原因是什么，以及我如何解决这个问题？
谢了，Schichti
嗨安迪，
谢谢你的回答。
选中。
我没有安装任何扩展，也没有选中前三个框。问题还是一样的。
我的解决方案文件中不存在"GlobalSection(ExtensibilityGlobals)“部分。以下是我的解决方案文件的内容：
Microsoft解决方案文件，格式为11.0
浏览 7提问于2017-08-21得票数 0
我已经在Visual studio 2008中创建了一些sharepoint工作流，它们在我的机器上完全按照需要工作。我已经通过将它们部署到sharepoint服务器上的几个不同的web应用程序进行了测试。作为客户端的一个包，我为这三个工作流创建了WSP，并将它们与install.bat和uninstall.bat一起发送到客户端，以便从sharepoint站点设置或卸载这些功能。但是，在它们的一端出现了一个奇怪的问题，即无法从install.bat文件中的stsadm命令激活这些功能。这些功能也不会在“网站集功能”屏幕中列出，因此无法从那里激活它们。此外，在操作页面的解决方案管理中，解决方案
浏览 1提问于2010-02-08得票数 0
我无法理解“操作和分析大数据”这一基本理论概念。
据我说：
操作大数据:使用专门设计的数据库(NoSQL)对大数据执行读/写操作的分支。有点类似于RDMS中的ETL。
分析大数据:我们在回顾中分析数据，并使用MPP和MapReduce等技术绘制预测的分支。有点类似于RDMS中的报告。
(如果我错了，请随时纠正，这只是我的理解。)
因此，据我所说，Hadoop用于分析大数据，我们只是处理数据以进行分析，但不对原始数据进行调整，因此并不是ETL的理想选择。但是最近我遇到了这篇文章，它提倡为ETL：使用Hadoop。
浏览 0提问于2018-12-31得票数 0
回答已采纳
我希望将工作流任务带回Alfresco activiti workflow中的以前状态。例如，有两个审阅人A和B。工作流程是连续的，A是第一个审阅人，B是第二个审阅人。在A接受任务后，该任务被分配给B。此时，A希望从B带回该任务。我应该使用什么api方法来实现此行为？(这是不可能的？)
浏览 0提问于2013-11-20得票数 0
1回答
我阅读了许多关于ios可再生订阅的材料，并拥有以下工作流程：
应用程序获取来自苹果的收据并将其发送到后端。
后端确认收据由苹果验证-url
后端只从transaction_id和expires_date获得真正的latest_receipt_info
如果后端在DB中没有此事务，则将增加对用户的订阅。
这个工作流是因为：
苹果可以发送收据检查通知？？为什么我从latest_receipt_info获得信息？
苹果公司建议这一流程用于续订
但我有一些问题：
我想从这个流中排除应用程序。我想要创建像android一样-同步所有的更新从后端。我怎样才能创建
浏览 2提问于2014-11-12得票数 1
2回答
我的问题是，测试在哪里进行？
我们是否需要为ETL测试建立单独的测试环境？
第二，一旦数据加载到暂存阶段，测试就开始了，还是等到它到达目标为止？同样，应该在哪个环境中进行测试？
浏览 0提问于2016-09-01得票数 3
3回答
我正在研究如何将SharePoint用于相对简单的内容管理功能服务，以便在大学系统中使用。
我对SharePoint完全陌生(而且最初是Linux背景)，所以我对各种版本和许可证的速度不太快。
我想知道的是，基本的是否提供了内容管理功能，还是只提供了？
所需的内容管理是相当基本的，我觉得--一个基于web的界面，允许创建面向公众的基于web的HTML内容。内容将主要是文本信息，其中包含图像和文档链接。面向公众的定制是很重要的。而且，理想情况下，管理端的实际内容编辑对于非技术用户来说应该相当容易。所需的特征大致如下：
图像上载，以及随后包含在文本内容中
文档上载，以及随后将其包含在文本内容中
链
浏览 0提问于2010-02-12得票数 2
回答已采纳
1回答
如果数据源不能通过JDBC调用，是否可以实现前事务管理器之一？
编辑的
我想为现有的应用程序创建一个加载项。我的加载项将负责记录长期运行的工作流事务的读写访问。我的外接程序还应该负责缓存变量，以便在每次访问变量时不必进行读/写操作。
应用程序在Tomcat6环境中运行，我通过调用插件管理器(它保存来自不同数据源的数据)来获取数据。
你知道我能读到的任何链接吗?或者可能知道一些现有的解决方案？
浏览 2提问于2011-10-20得票数 1
1回答
我想了解cadence是如何为长期运行的工作流管理内存的。假设工作流运行了6个月，但在整个过程中它并不是活动的。当客户端接收到与此工作流相关的信号，执行一些活动，然后再次变得空闲时，它就会激活。我正在使用java库提供的Workflow.await方法来实现这一点。
我的问题是，cadence如何管理这些空闲工作流(以及此工作流创建的所有状态变量)？由于工作流尚未完成，它是否允许java垃圾收集器删除与工作流相关的类，还是将它们保留在占用内存和CPU的堆空间中？我们能否从内存中删除空闲的工作流，这样我们的内存占用就不会增加？
浏览 2提问于2022-05-16得票数 1
3回答
是否有一种方法可以在Git中用标签对一组文件进行逻辑标记？我知道标签和Gitlab标签是怎么工作的但是..。在这两种情况下，这些标记都应用于提交。
我们使用的应用程序ETL使用了一种特定的目录树，在确定3个文件属于解决方案X和2个其他文件(位于同一个目录中)属于解决方案Y时，这种树不太灵活。
标记/标记文件的子集，而不是将它们放在特定功能的文件夹中或在命名约定中进行编码.会让他们更容易辨认。
文件BTW要么是XML (ETL作业)，要么是平面文件(SQL/DDL)。
你会怎么做？
浏览 6提问于2017-01-04得票数 2
回答已采纳
你想如何弹出你的应用程序？
裸:我想要一个赤裸裸的反应本土项目。ExpoKit:我将创建或登录一个世博帐户，以使用。取消:我将继续我目前的项目结构。
ExpoKit和Bare有什么区别？
选择这样做的好处和缺点是什么？
浏览 0提问于2019-09-04得票数 7
回答已采纳
我们为ETL使用了一个Python Azure函数，该函数基于每天同一时间在blob存储中丢弃的几个文件。我们当前的工作流程是使用几个Python函数来拾取这些文件(使用azure- storage -blob Python库)，转换它们，将它们加载到Azure SQL数据库，然后将所有文件存档到冷存储。现在我们依赖于定时器触发器，因为在操作和归档源文件之前，一些功能需要依赖于其他功能才能完成。
似乎使用Azure持久函数会是一个更好的工作流程，因为我们可以更好地编排这些函数，并决定何时应该运行下一个ETL进程，或者何时应该归档文件。问题是在Python中还不支持Azure持久函数。可以使用C
浏览 17提问于2020-06-02得票数 0
2回答
在Linux下如何在多个用户之间共享相同数据的Snakemake工作流是否有指导原则，或者整个事情被认为是不好的做法？ 让我解释一下，以防不清楚： 假设用户A在目录dir/中执行工作流。假设工作流成功终止，然后他/她以递归方式正确地设置了所有输出和中间文件以及.snakemake/子目录上的文件/目录权限，以供其他用户进行读/写。 用户B随后导航到dir/，将输入文件添加到工作流中，然后执行它。会出什么差错吗？ 我问的是相同系统上的不同用户在磁盘上的相同数据上非并发执行相同的工作流。Snakemake是为这样的用例设计的吗？
浏览 29提问于2021-10-27得票数 1
3回答
让我们想象一下，我们的应用程序需要ETL (提取、转换、加载)数据从关系数据库到另一个关系数据库。最简单(也是性能最好的，IMHO)方法是在数据库之间建立链接并编写简单的存储过程。在这种情况下，我们使用最少的技术和组件，所有的功能都是“开箱即用”。
但SOA (面向服务的体系结构)的良好实践是什么呢？那紧耦合呢？我们是否将数据库永远地紧密地耦合在一起？
还有一种方法可以做到这一点:我们在每一面构建2个java应用程序，并通过SOAP服务进行通信。这是更友好的SOA！但是，性能下降和额外的故障点值得吗？
在这种情况下，最好的做法是什么？ETL如何适应SOA？
浏览 4提问于2015-06-07得票数 12
回答已采纳
3回答
在向气流中部署新的气垫时，是否遵循任何最佳做法？
我在google论坛上看到了一些评论，声明dags保存在GIT存储库中，并定期同步到气流集群中的本地位置。
Regarding this approach, I had a couple of questions
我们是否为不同的环境维护单独的数据文件？(测试。(生产)
如果新版本有错误，如何处理ETL回滚到旧版本？
这里的任何帮助都是非常感谢的。如果你需要更多的细节，请告诉我？
浏览 5提问于2018-01-22得票数 53
回答已采纳
我不完全理解反应性扩展，但是我的初始阅读让我想到了我所拥有的ETL代码。
现在，它基本上是一个工作流，根据它在前进过程中发现的条件，在一个特定的序列中执行各种操作。
我还可以想象一种事件驱动的方式，只有少量的命令式逻辑会导致连锁反应。
当然，我不需要一种新型的编程模型来进行这样的事件驱动的协作。
同样，我想知道ETL是否适合进一步探索Rx。
我的连接在一个有效的方向上是否均匀？如果没有，你能简单地纠正我逻辑上的错误吗？
浏览 0提问于2012-06-05得票数 0
在Facebook的数据泄露之前，我有一个应用程序被批准了user_managed_groups权限。当他们改变事情时，由于从评论中获取用户数据的限制，我的应用程序变得毫无用处。 我现在看到Facebook已经更新了API，允许应用程序获取数据，前提是组中的每个用户都通过图形登录提供同意。我可以很容易地将其添加到我的工作流程中，并为组管理员提供一个供其用户同意的链接。 我现在面临的问题是，组管理员必须将应用程序安装到组中(请参阅this帮助文章了解如何完成此操作)，但应用程序不能安装，除非它们得到了Facebook的批准。这个工作流程似乎是个难题:除非安装了应用程序，否则我无法进行测试，但如
浏览 12提问于2019-06-06得票数 1
回答已采纳
我正在尝试使用服务中的脚本调用第三方应用程序，workflow.When现在有人从服务目录中请求一个项目，它将被admin.Once批准，管理员批准请求事件状态是approved.But，在结束之前，我想运行脚本来调用某个第三方应用程序API，并使用脚本执行一些任务。
我的第一个问题是:这能从工作流脚本调用第三方应用程序吗？
第二个问题:如果可能的话，有人能指导我如何调用第三方应用程序吗？
浏览 2提问于2016-04-05得票数 0
回答已采纳
1回答
我最近开始研究MVC应用程序。然而，我的第一个计划是在同一个解决方案中创建两个单独的项目。一个asp.net MVC web应用程序和第二个asp.net WebAPI应用程序。因此，我的Web应用程序将与Web对话，后者将向应用程序发送JSON响应，该应用程序将被转换为。
工作流图:
随着研究的深入，我了解到在MVC 5中，API控制器和控制器都合并成一个单一的控制器类。因此，我的问题是如何在MVC 5中实现上述工作流。
MVC 5工作流图
因此，在MVC 5中出现了一个问题，或者我无法完全理解它，例如：
UserModel
public class UserMode
浏览 0提问于2016-03-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
