如何在Talend作业中使用多线程执行时同步两个子作业？
在Talend作业中使用多线程执行时同步两个子作业可以通过以下步骤实现：
- 创建一个主作业，并在该作业中添加两个子作业组件，分别表示两个需要同步执行的子作业。
- 在主作业中使用tParallelize组件将两个子作业组件连接起来。tParallelize组件可以将作业流分成多个并行的分支。
- 在tParallelize组件的设置中，选择"Use Independent Process"选项，以确保每个子作业在独立的线程中执行。
- 在tParallelize组件的设置中，选择"Wait for All"选项，以确保主作业在所有子作业执行完成后才继续执行。
- 在每个子作业组件中，可以使用tFlowToIterate组件将数据流转换为迭代器。这样可以确保每个子作业都能独立地处理数据。
- 在子作业组件中，可以使用tFlowToIterate组件后添加需要执行的数据处理逻辑。
- 在主作业中，可以使用tFlowToIterate组件将数据流转换为迭代器，并将迭代器传递给tParallelize组件。
通过以上步骤，可以在Talend作业中使用多线程执行时同步两个子作业。这样可以提高作业的执行效率，并确保两个子作业在同一时间点开始执行。在实际应用中，可以根据具体需求调整并发线程数和数据处理逻辑，以达到最佳的性能和效果。
关于Talend的更多信息和相关产品介绍，您可以参考腾讯云的Talend产品页面：Talend产品介绍。
相关·内容
3回答
Talend：“主链接”在SubJob之前无法从其中检索值。
etl、talend
我的Talend工作有问题。我的目标是从一个人员列表(从数据库中提取)开始，对列表中的每一行检查ID是否已经存在于Active Directory中。
子作业(cherche_doublon_id)的检查是否ID已经存在，工作良好。如果ID不存在，作业应该返回一个结果"idUnique“，在othe情况下返回"idDoublon”。该子作业使用父任务传输的ID作为上下文参数。
我的问题似乎是连接“主”，其进入我的孩子的工作。如果我把一个"OnComponentOk"，子作业工作很好，但只有一次在我的名单上的最新元素。使用“主”连接，我想对列表中的每一行执行子作业
浏览 1提问于2016-11-08得票数 0
回答已采纳
1回答
Talend:在迭代中触发子作业
talend
我有一个Talend作业，我正在尝试重构以迭代方式运行。原始作业将把一个值放入预作业->tJava中的全局映射中，然后fileInput使用该值在子作业中打开文件(tFileInputDelimited)并执行rowMain。fileInput还具有一个触发另一个fileInput的OnSubjobOk，该fileInput有一系列rowMain进程。
我现在试图重构作业，以便tJava预作业设置一个列表并将其添加到globalMap中。然后，我使用迭代器对tJavaFlex进行迭代，然后对触发第一个子作业的fileInput进行迭代。但是，我不能从第一个子作业中触发第二个子作业，并且不
浏览 3提问于2014-08-18得票数 0
回答已采纳
1回答
如何异步调用子作业
java、talend
我在使用。我想从父作业中调用子作业(tRunJob)，但是继续执行父作业，而不等待子作业的执行完成。
我在这里的目标是创造一个就业机会，其唯一目的是触发其他工作。因此，当我收到要执行的XYZ talend作业的请求时，这个作业应该简单地开始执行XYZ作业并返回到侦听新的触发器。
我如何实现这一点？
浏览 0提问于2018-03-05得票数 1
回答已采纳
1回答
是否有类似于SSIS的序列容器？
sql-server、postgresql、ssis、parallel-processing、talend
使用..。
步骤1-我使用PostgreSQL组件在tSystem数据库中执行一组SQL语句。
步骤2-我将十个PostgreSQL表复制到Server数据库中
由于没有相互依赖关系，所以我想同时执行所有十个表副本操作。如果我使用的是SSIS，这将很简单:将10个复制表任务放在一个序列容器中，并使用一个优先级约束将执行SQL脚本链接到序列容器。
是否有类似于SSIS的序列容器？
在Talend中，我知道我可以使用来自OnSubJobOk组件的tSystem触发器，并创建到10个副本表tasks...but中的每一个的连接，如果我可以用一个连接到一个类似SSIS序列容器的东西来实
浏览 0提问于2018-04-27得票数 1
回答已采纳
1回答
在talend中运行并行作业
parallel-processing、jobs、job-scheduling、talend
我有一个情况，我需要在talend中并行运行五个不同的子作业。问题是，在我的select查询中，我将获得五个不同的id，然后对于每个特定的id，我需要运行五个不同的作业。tparrallelize组件的问题是，它不允许我将上下文变量传递给每个子作业，即本例中的id。
从表中选择id限制5；->同一作业的五个不同实例，不同id作为参数
如有任何帮助，将不胜感激
谢谢
浏览 5提问于2014-01-23得票数 5
1回答
如何在Talend作业中使用多线程执行时同步两个子作业？
java、multithreading、talend
我正在使用Talend Open Studio for Big Data，我想知道如何同步在多线程执行的作业中执行的两个子作业。
我想并行执行两个子作业，只有在这两个作业完成执行后，我才想执行第三个作业。基本上，只有在Job1和Job2完成执行之后才执行Job3。
我知道我可以使用tParallelize和Synchronize来实现这一点，但我没有使用Talend Enterprise edition。
在这个话题上似乎没有什么亮点，所以任何帮助都将不胜感激。
谢谢!
浏览 4提问于2018-02-09得票数 1
回答已采纳
1回答
如何将查询的输出用作另一个查询的输入
mysql、mongodb、talend
我对Talend并不熟悉，但我希望有一个类似于此的工作:在tMysqlInput中，创建一个select语句，返回带有单个列的单个行，然后在tMongoDBInput查询中使用该值获取多个文档。
如何在单个作业中做到这一点，因为我无法将tMysqlInput与tMongoDBInput链接到一行(Main)？
浏览 0提问于2018-01-05得票数 1
回答已采纳
2回答
有关于分割输出文件的解决方案吗？
etl、talend、talend-mdm
我是Talend的新手，我想要做的是分割不同的输出文件，下面是我正在处理的文件的一个例子。
例如：
每当我看到一个具有真值的列时，我都需要生成它的不同文件，包括值为true的行。
所以输出应该如下所示：
谢谢各位，希望有人能帮我。
浏览 17提问于2022-05-16得票数 1
回答已采纳
1回答
基于条件迭代Talend作业
postgresql、etl、talend
我的PostgreSQL数据库中有一个控制表。一些样本数据如下：
id section_code ddu_area ddu_action status_flag
1 4636 1 1 0
2 4636 1 2 0
3 4636 2 1 0
4 4636 2 2 0
我有几个ddu
浏览 0提问于2015-04-11得票数 0
回答已采纳
2回答
通过父作业运行Talend子作业
talend
我想开发一个Talend作业父作业，这将读取一个文件。此文件将包含所有子作业名称。因此，父作业在运行时必须遍历文件中的每个条目(即每个子作业名称)并执行子作业。有人能在这方面给我指点一下吗？
浏览 12提问于2017-01-13得票数 0
1回答
不捕获tMSSqlRow读取错误的tlogcatcher组件
sql、try-catch、talend
我用Talend开发了一些作业，并使用Tlogcatcher在数据库中记录错误。似乎除了一份工作外，所有的工作都适用。
以下是它的工作原理：
第一个从数据库表读取SQL语句，对于每个语句，tMSSqlRow读取并执行它。
但是，当SQL失败(即删除不可能导致约束完整性的原因)时，tLogCatcher组件不会捕获错误。
我怎么能这么做？
浏览 0提问于2018-01-19得票数 1
回答已采纳
1回答
基于蜂箱输入的mysql中Talend查询数据
mysql、hive、talend
我需要在Hive中查询列，并根据MySQL DB中的输出查询它。
流程如下所示：
查询Hive表，获取ID列表
使用ID列表查询MySQL表。查询将类似于select a,b,c from x where id in (list from hive)
我该怎么做？
浏览 1提问于2014-08-01得票数 3
回答已采纳
1回答
我正在尝试使用Talend Data Integration，以便获取Excel电子表格的行，并使用电子表格中列出的电子邮件，以便获得供tSendMail组件使用的地址列表。
到目前为止，我已经做到了: tFileInputExcel -> tFlowToIterate -> tSendMail。
我已经看过这些 了，但还没有理解我应该从现在的位置走到哪里。
浏览 2提问于2014-08-30得票数 1
1回答
Talend:运行if条件与迭代
loops、if-statement、talend
如果我使用'Run‘条件，它也不能作为’迭代‘工作吗？
我有一个variable_X，它允许许多值(在'tFlowToIterate‘组件中定义)。而不是，根据variable_Y的值，我希望将variable_X的所有值传递给另一个作业(4个可用作业中的一个)。因此，我想在每个作业之前使用一个'Run‘条件，但是我希望通过选择的作业迭代variable_X的值.
我该怎么做？
浏览 2提问于2013-12-05得票数 0
回答已采纳
2回答
Talend -不使用子作业的错误处理
talend
请看图片。
因此，这是一个流程，其中第一个组件执行数据库查询以查找QAR_ID (单行)，如果找到，则一切正常。我试着把错误处理放在这里面。当未找到任何行时，它将定向到tJava_11，后者将引发java异常，并由另一个tJava组件记录该异常。
我面临的问题是，当它转到错误处理流程时，它会记录错误，然后转到作业后部分。但是，我希望Talend采用OnSubJobOk路线，这样它就可以继续其他步骤，而不是直接跳到工作后部分。
我知道使用子作业可以做到这一点，但我不想一直创建'n‘个子作业。
有没有办法在同样的工作中做到这一点？
浏览 0提问于2018-10-28得票数 1
2回答
Talend性能
performance、etl、talend
我们需要从三个不同的文件中读取数据，并在同一工作中具有不同列的这些文件之间进行连接。
每个文件大小约为25-30 GB。我们的系统内存只有16 is。使用tmap进行连接。Talend将所有的参考数据保存在物理内存中。就我而言，我不能提供那么多的记忆。作业由于内存不足而失败。如果我在tmap中使用选项，作业就会非常慢。
请帮我回答这些问题。
Talend如何处理大于RAM大小的数据？
管道并行性与talend是否已就位？我是否遗漏了代码中的任何东西来实现这一点？
tuniq & Join操作是在物理内存中完成的，导致作业运行非常缓慢。磁盘选项可以处理这些功能，但是太慢了。
浏览 7提问于2017-03-22得票数 1
回答已采纳
2回答
Talend:将两个条件子作业的数据组合到单个文件中
java、talend、ab-initio
我在塔伦德尝试复制一份从头开始的工作。
我在作业中有两个起点(条件)，我使用tjava IF触发器来执行任何子作业。
现在，由于任何一个子作业都要执行，我愿意只放置一个tFileInputDelimited，并将子作业数据流收敛到一个。
我试过使用tUnite，但通过这样做，两个作业正在合并。单个子作业不能有两个触发起点。在这种情况下我会出错的。
一种方法是使用中间文件，然后再从中间文件中读取。但这不会是abinitio作业的复制。很难说服。
输入数据可能很大，所以我不确定加入tmap是否是一种好方法。
有人能建议更好的方法吗，请建议。
浏览 4提问于2017-04-08得票数 1
1回答
Talend是OnComponantOk线程安全
java、talend
我对Talend的并行性有一个疑问，我正在构建一个ETL，它可以并行删除多个文件，然后更新一个数据库表。 我的作业在parallel x10 ===> tDelete ===OnComponanantOK===> tDBRow中运行并行迭代 我的tDBRow需要在tFlowToIterate it works中定义的变量！然而，我不清楚它为什么工作的逻辑？Talend如何确保tDBrow在此条件下具有适当的值？ 我的理论是，OnCompnanatOk链接上的tDBRow就像一个在tDelete迭代下工作的子节点 有没有人能解释一下这是怎么回事？
浏览 23提问于2020-09-11得票数 1
回答已采纳
2回答
Talend可以为MySQL输出使用动态表名吗？
mysql、etl、talend
(用于数据集成的Talend OS )
是否可以使用动态表名？我已经研究了用户手册中的所有资源，虽然这些资源似乎都没有明确排除，但我似乎无法让它发挥作用。
场景
假设你有一个巨大的列表，有1,000,000个名字--戴夫·史密斯、戴夫·琼斯、戴夫·布洛格斯等。这些名字都存储在一张桌子上。
您需要将这些表拆分成反映名称的表，这样您就有了一个DB，其中有“Andy”、“禤浩焯”、“Adam”等表名。
，我在
我能做的，没有问题，是批量导出一个完整的数据集到一个表。我还可以在字段中迭代，使用tMysqlRow创建单独的表(这本身要快得多)。
然后，我尝试选择并将数据吐出到其各自的字段中，但遇到了以下
浏览 1提问于2016-09-21得票数 3
回答已采纳
1回答
如何在Talend中动态地将文件名传递给tFTPRename？
java、global-variables、etl、talend
我现在有一份工作是这样的：
tPrejob-->tOracleConnection1--->tOracleConnection2--->tSetGlobalVar1(timestamp)--->tRunjob(runs预任务从FTP收集文件)
然后有一个tPostjob，它应该重命名FTP服务器上处理的文件。
tPostjob>tFTPRename
它应该用"File Processed On " + ((String)globalMap.get("timestamp")) + "This is where I would
浏览 3提问于2014-07-17得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
