使用并行映射的rjdbc并行查询

文章/答案/技术大牛

发布

1回答

r、parallel-processing、rjdbc

我试图在parallele中运行我的查询，但我得到了一个00001: Error in .jcheck() : No running JVM detected.当我逐个运行这些查询时，它们都可以正常工作我知道它不是真的可重现，但我不能给你我的日志/通行证:)library(RJDBC</em

浏览 8提问于2017-07-26得票数 14

1回答

验证蜂巢单查询并行性和多查询并行性

hadoop、hive、mapreduce、hive-configuration

我使用以下hivesite.xml属性配置了Hive并行性并重新启动了集群Name: hive.exec.parallelDescription: Run hivefile.hql中的单个查询，并以hive -f file.hql的形式运行它UNION ALL SELECT COL3, COL4 FROM两个不同文件中的独立查询，如下所示，并以nohup hive -f f

浏览 11提问于2021-01-04得票数 2

回答已采纳

4回答

读取表变量的查询可以在Server 2008中生成并行选择计划吗？

sql、sql-server、sql-server-2008、parallel-processing、table-variable

首先，来自这似乎很明显。在不修改表变量的情况下，读取表变量的查询仍然可以并行化。然而，在另一个声誉良好的消息来源上，苏

浏览 9提问于2009-10-29得票数 5

回答已采纳

1回答

.NET核心EF核中对dbcontext的并行调用

sql-server、multithreading、asp.net-core、task-parallel-library、ef-core-3.0

项目用途：在我的项目中，我有数以百万计的数据/记录，我需要在来自4个不同表的API中提出并行读取请求。正如建议的那样，DBContext具有作用域生存期。我需要对DBContext进行并行调用，但是当我尝试它时，第二个实例已经在使用中时启动了(因为生命周期是范围的)。对于这些特定的查询，I尝试使用AsNoTracking()，但是仍然存在相同的

浏览 2提问于2020-05-20得票数 1

回答已采纳

2回答

在StepFunctions中从dynamodb中删除数据类型

amazon-dynamodb、aws-step-functions、dynamodb-queries

我使用StepFunctions查询获取响应项列表，然后将响应传递到并行状态，并在并行使用映射中发送SQS和更新项。我的步骤函数流如下所示我的问题是查询响应中包括数据类型"S“，这使得它进入了SQS，无法更新dyanamodb。例如，DynamoDB UpdateItem的输入类似于：{"id"：{ "S"：“2fc79eb4-5b7c-4c79-874b-*

浏览 8提问于2022-07-14得票数 2

1回答

Scala并行集合上的哪些操作是并行化的？

scala、collections、parallel-processing

似乎当我在并行列表上调用map时，操作是并行运行的，但当我在该列表上执行filter时，操作是严格按顺序运行的。因此，为了使filter并行化，我首先映射到(A，布尔值)，然后过滤这些元组，然后再映射回所有元组。感觉不太方便。所以我很感兴趣--并行集合上的哪些操作是并行的，哪些不是并行的？

浏览 1提问于2011-10-05得票数 11

回答已采纳

2回答

当在同一流管道中使用的终端操作不符合命令时，中间操作荣誉是否遇到命令？

java、java-8、java-stream

如果我在流管道中使用一个带有forEach()终端操作的映射操作(不管它是顺序的还是并行的)，那么在顺序流或并行流的情况下，映射会尊重列表的遇到顺序吗？someList.parallelStream().map(i -> i*2).forEach(System.out::println) // this is parallel stream 如果是的话，那么在这个帖子中，提到地图操作将<em

浏览 1提问于2019-04-14得票数 2

回答已采纳

1回答

如何与连接到并行口的设备对话？

x86、operating-system、hardware、parallel-port

假设我的计算机中有一个并行口，现在并行口将有一些与其相关的内存，CPU可以访问它(不确定并行端口是使用内存映射的IO还是端口映射的IO)。现在，如果我想向并行口发送一个信号，或者从并行口接收一个信号，我将不得不写入或读取与并行口相关的内存。现在假设我有一台打印机连接到并行口，打印机也会有一些内存(例如:它可以有一个缓冲区来存储它

浏览 6提问于2017-10-10得票数 3

1回答

如何在apache ignite中实现查询并行性？

bigdata、ignite

我想知道查询并行性是如何在apache ignite中实现的。得到的数字与没有并行的结果完全不同。谢谢

浏览 1提问于2018-05-06得票数 3

1回答

是否可以通过编写单独的mapreduce程序来并行执行Hive查询？

mapreduce、hive

我已经问了一些关于提高配置单元查询性能的问题。其中一些答案与映射器和缩减程序的数量有关。我尝试使用多个映射器和减法器，但在执行过程中看不到任何差异。不知道为什么，可能是我没有按正确的方式做，或者我错过了其他的东西。它需要太多的时间来执行，我想减少执行时间。我想知道如果我们在Hi

浏览 0提问于2012-05-11得票数 6

回答已采纳

1回答

Oracle:在SELECT列表中不使用带有子查询的并行执行有什么逻辑原因吗？

sql、oracle、parallel-processing

Oracle在SELECT列表中不使用标量子查询的并行执行有什么逻辑原因吗？为什么它不应该用它们？只有满足以下条件，SELECT语句才能并行化： - A full table sca

浏览 3提问于2012-03-15得票数 2

4回答

sqoop中的减速器数

mapreduce、sqoop

sqoop中默认的映射器和还原器有多少？(4-映射器，0-减缩器)。如果在--where或--query条件下使用sqoop import，那么会有多少减速器？在本地集群中，它显示的是使用0后的--where or --query condition减速器。

浏览 7提问于2017-10-08得票数 1

回答已采纳

1回答

通用并行化与PostgreSQL并行

postgresql、parallel-processing、query-optimization、common-table-expression

我正在处理一些大型数据，在查询中获得并行计划是必要的。我也非常喜欢使用CTE来表达我的查询，但是在PostgreSQL的文档之后，我不太确定CTE是否对并行性造成了严重的限制。、CTEs和临时表被标记为“并行受限”，其中“并行受限”定义为并行受限操作是不能在并行工作者中执行的操作，但在使用并行查询<

浏览 2提问于2019-10-18得票数 1

1回答

强制T查询使用并行性好吗？

sql-server、t-sql、performance、optimization、parallelism、query-performance

这可以通过在查询选项中调用跟踪标志8649来完成。此跟踪标志导致查询成本为0，这将始终低于并行性的成本阈值，因此查询将被考虑为并行计划。试图强制T查询以这种方式使用并行性有什么坏处吗？示例教程如何强制并行

浏览 0提问于2016-10-12得票数 2

回答已采纳

1回答

如何在jenkins声明式管道groovy中并行运行外部映射和内部映射

jenkins、groovy、jenkins-pipeline、jenkins-groovy、jenkins-declarative-pipeline

我有一个场景，我想以这样的方式运行:外部映射应该并行运行，而外部映射的内部映射应该按顺序运行。outer_map2.each{ key, value -> }在这里，outer_map1包含键作为字符串，值将是要执行的命令，此映射的所有项都应该并行运行，而outer_map2包含键作为字符串，值将作为映射，内部映射包含

浏览 13提问于2022-06-07得票数 0

回答已采纳

1回答

Informatica-在工作流中运行并行映射

mapping、workflow、informatica

我需要在单个工作流中并行运行多个映射。我有大约60个表，我需要它们并行运行。我想知道如何修改此工作流以并行运行映射？有没有人可以给我介绍一下可以帮助我完成工作流程的示例工作流程？谢谢

浏览 7提问于2018-12-19得票数 0

1回答

PostgreSQL中的创建/刷新物化视图是否使用并行规划器？

postgresql、postgresql-10、materialized-view、parallelism

我想知道CREATE (带数据)还是REFRESH MATERIALIZED VIEW使用并行规划器。当我在没有创建物化视图的情况下单独执行EXPLAIN ANALYZE查询(这里任何具有并行潜力的查询)时，它会显示所述查询是并行的，并且执行所述查询本身显示多个处理器正在使用标准Linux工具(如top相反，在REFRESH或CREATE物化视图包装器中执行查询，

浏览 0提问于2018-12-14得票数 1

2回答

什么有更好的性能，双并行查询或查询，然后是array.reduce？MongoDB和JavaScript性能

mongodb

我想知道，从长远来看，假设DB充满了文档(可能有数千个文档)，什么样的选项具有更好的性能。第一个查询获取用户所在的所有房间属性。第二个查询获得用户所在的不同房间的列表，每个房间的共享属性设置为true。"share": false2.做一个查询<

浏览 4提问于2021-06-08得票数 0

回答已采纳

1回答

在flink sql或表api中每个操作符并行性的控制

apache-flink、flink-streaming、flink-sql

我正在使用Flink定义一个流作业，它从一个无限制的源(google PubSub)读取，并使用HBase接收器写入Google BigTable。该查询正在对流进行窗口化，并在将这些窗口写入BigTable之前在这些窗口上应用一些聚合函数。我们希望能够为每个子任务定义不同的并行性，前提是第二个子任务可以受益于比源子任务所需要的</

浏览 9提问于2022-04-21得票数 1

1回答

在Python中并行化数据提取和处理的方法

python、parallel-processing、multiprocessing

我想并行执行几个数据处理任务。有几个瓶颈，我看到: 1.数据提取费时，2.对这些数据的函数执行也很慢。我最初的方法是使用pool.map(func())映射函数，它提取数据块，然后用func_1处理它们，然后用func_2处理，所以这主要是基于“数据”的并行性的改进。下图显示了我目前使用的方法。然而，func_1和func_2等是相互独立的，也可以在提取的数据块上并行</e

浏览 6提问于2020-09-03得票数 1

点击加载更多