腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Apache Flink:未应用环境
并行
度设置
java
、
parallel-processing
、
apache-flink
、
flink-streaming
我正在尝试按照documentation在Java 1.8.3中设置一个总体
并行
度设置 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment但是,当我查看各个阶段在Flink UI中运行的
并行
度时,它们都是以
并行
度1运行的(源和宿除外,它们都是以预期的
并行
度设置运行的): ? 我已经尝试在各个
运算
符上设置
并行
度设置,但没有改变任何东西。
运算
符是法线平面
浏览 44
提问于2020-07-08
得票数 0
回答已采纳
1
回答
流的
并行
性总是它的产生算子的
并行
性。
apache-flink
在中,有一个描述 操作符子任务的数量是该特定
运算
符的
并行
性。流的
并行
性始终是其产生算子的
并行
性。同一程序的不同
运算
符可能具有不同级别的
并行
性。
浏览 0
提问于2019-07-15
得票数 0
回答已采纳
1
回答
flink操作符状态是否线程安全?
java
、
apache-flink
对于
运算
符状态(或无键状态),每个
运算
符状态绑定到一个
并行
运算
符实例。 以上报价来自Flink官方网站。每个
并行
操作符实例都可能有线程池。当这些线程访问操作符状态(如上所述,每个
并行
操作符实例可以有一个操作符状态)时,它会遇到线程安全问题吗?我是否应该使用操作符State的术语,如下面的Java?
浏览 0
提问于2019-03-17
得票数 0
1
回答
TensorFlow:指定
并行
运行的
运算
数
tensorflow
据我所知,TF会
并行
调用多个
运算
符,只要它们是独立的。()编辑:b=tf.random_normal([N,N]) c=tf.random_normal(
浏览 3
提问于2017-01-11
得票数 2
1
回答
Flink:如何理解存在多少个
并行
操作符的实例?
java
、
apache-flink
、
flink-streaming
我希望图形操作符能够水平可扩展,即每个
并行
操作符处理图的一个子集(但这将要求每个操作符能够访问整个图)。我感兴趣的是如何将负载分散到所有
并行
运算
符上。我希望每个
并行
操作符都能处理图的一个子集。不管
运算
符存在多少个
并行
实例,我都希望处理所有的图(这意味着我不希望每个
运算
符只处理图的某个随机子集),我也不想让
并行
运算
符处理图的相同部分(没有重复处理)。= operatorIndex) { // do s
浏览 3
提问于2019-07-08
得票数 0
2
回答
我能给变量赋值一个
运算
符吗?
r
在R中,是否可以将
运算
符分配给变量或其他允许将变量用作
运算
符的结构?在我的例子中,我希望一些代码使用foreach包中的%do%或%dopa%
运算
符(取决于用户是否希望
并行
计算)。要执行的代码块保持不变,只是
运算
符是可变的。
浏览 3
提问于2011-08-03
得票数 3
回答已采纳
1
回答
Apache Flink:设置
并行
性的指导原则?
apache-flink
、
flink-streaming
我正在尝试获取一些简单的规则或指南,用于设置
运算
符或作业
并行
性的值。在我看来,它应该是一个数字,<=,可用任务槽的数量?如果你请求比任务槽更多的
并行
度,会发生什么?在上面的例子中,如果我将操作的
并行
度设置为12,会发生什么?我假设它会使用尽可能多的可用资源? 此外,您似乎不希望将
并行
性硬编码到源代码中,因为您希望在提交作业时对
浏览 2
提问于2018-06-06
得票数 7
1
回答
阵列操作中的C++特征多线程
c++
、
multithreading
、
eigen
我有一个关于本征数组
运算
的问题(基本上是矩阵元素的
运算
).MatrixXd D = A.array() / B.array(); // element-wise division 如果它是
并行
化的
浏览 3
提问于2017-04-20
得票数 1
1
回答
在flink任务管理器中均匀分配任务槽
apache-flink
、
flink-streaming
、
flink-batch
我有一个flink作业(2个任务管理器),作业
并行
度为64,任务槽为64。 我将其中一个
运算
符的
并行
度设置为16。该
运算
符(16个
并行
度)插槽未在两个任务管理器中均匀分布。
浏览 95
提问于2021-03-23
得票数 0
回答已采纳
1
回答
当设置
运算
符
并行
性大于默认
并行
性时,Flink任务槽的分布并不均匀。
apache-flink
、
flink-streaming
作业的默认
并行
度为9,其中一个操作符设置为
并行
18。作业的任务槽数设置为18 (最大
并行
值)。设置为
并行
性18的
运算
符在所有任务时隙之间平均分布。所有其他
运算
符(设置为默认- 9)都不是平均分布的。
浏览 0
提问于2019-03-26
得票数 3
回答已采纳
1
回答
Flink:广播操作员链接
java
、
scala
、
apache-flink
、
flink-streaming
假设我有一个事件数据集,并希望将其广播到一个(富)映射操作符(Map1),该映射
运算
符被链接到另一个(富)映射
运算
符(Map2)。这两个映射的
并行
性是相同的。我想要的是map1的每个
并行
实例的输出到map2的一个
并行
实例(即两个映射之间没有广播)。这是我到目前为止所做的事情,但我不确定它在逻辑上是否正确。可以吗?setParallelism(par)后续问题:两个链
浏览 5
提问于2020-03-10
得票数 0
回答已采纳
1
回答
Flink中的windowAll
运算
符是否将
并行
化缩小到1?
java
、
apache-flink
、
flink-streaming
、
stream-processing
流在4个线程上
并行
化。如果我理解正确的话,windowAll操作符是一个非
并行
转换,因此应该将
并行
化缩小到1,并将其与TumblingProcessingTimeWindows.of(Time.seconds(1))一起使用,求出最近一秒内所有
并行
化的子任务的吞吐量总和,并打印出来。当我在开始的env.setParallelism(1)中将环境的
并行
度设置为1时,我没有在吞吐量之前获得"x>“,但我似乎获得了与设置为4时相同(甚至更好)的吞吐量。
浏览 0
提问于2018-06-13
得票数 1
2
回答
Flink Sink
并行
= 1?
apache-flink
、
flink-streaming
我正在尝试理解Flink中的
并行
性是如何工作的。这个文档似乎表明接收器的
并行
度等于1。在我的例子中,我在接收器中写入HBase -这是否意味着只有一个任务(线程?)哪个将写入HBase?它是否没有获得为应用程序设置的全局
并行
度?
浏览 2
提问于2019-10-04
得票数 1
0
回答
如何通过相邻对使用非关联函数进行约简
scala
例如,假设+是一个非关联
运算
符:(a,b,c,d,e,f,g,h) => ((a+b) + (c+d)) + ((e+f) + (g+h)) 这个问题类似于,但是我不认为
并行
集合适用,因为语义需要用于确定性的关联
运算
符。与其说我关心
并行
执行,不如说我关心的是实际的关联,这样它就构建了一个平衡的表达式树。
浏览 4
提问于2018-07-07
得票数 2
回答已采纳
2
回答
SQL Server和线程
sql-server
、
multithreading
SQL Server下的联接查询是否总是派生新线程?通常,SQL Server如何控制线程派生?
浏览 0
提问于2010-10-21
得票数 2
回答已采纳
1
回答
ibm in球流中threadedport和parallel注释的差异
ibm-streams
我试图理解线程端口和@parallel注解在info sphare流之间的区别,我已经搜索了很多地方,但无法得到我的答案,据我所知,这两种方法在使操作符线程化方面都很有用,但我不确定何时何地使用它们,以及它们是否可以一起用于performance boost.Could有人请用例子来证实它们的用法。
浏览 7
提问于2017-02-05
得票数 0
1
回答
Python中的简单
并行
处理
python
、
parallel-processing
price = 2, 3 o.update(weight, price)我的问题:让这个循环/进程
并行
运行的简单方法是什么我在这里看到了许多
并行
数学
运算
的例子(例如矩阵
运算
),但我无法让它们为我的简单示例工作。我正在使用Python3.6.5
浏览 2
提问于2020-08-18
得票数 0
回答已采纳
1
回答
Flink,一个插槽可以有多个线程还是只有一个线程?
apache-flink
在Flink中,像' flatMap ','map‘之类的
运算
符被称为任务,如果我将flatMap的
并行
度设置为30,那么这个任务有30个SubTasks。假设在作业中我有
运算
符flatMap和map,它们的
并行
度都是1,而我只有一个插槽,这个插槽会创建两个线程吗?(链接已禁用)
浏览 1
提问于2020-09-11
得票数 0
1
回答
为什么计算一个数字的奇偶校验代码是平静的,它可以
并行
运行*?
parallel-processing
、
bit-manipulation
我在学习按位
运算
。unsigned int v; // word value to compute the parity ofv ^= v >> 8; v ^= v
浏览 1
提问于2012-06-10
得票数 2
回答已采纳
1
回答
Julia中算子的超优先性
julia
并行
操作符∥在与关系操作符相同的优先级级别上定义。根据我个人的理解,
并行
运算
符的优先级高于或至少等于乘法
运算
符*。 我的问题是:如何将∥
运算
符的优先级从6更改为11、12或13?
浏览 0
提问于2018-08-08
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
R语言并行运算
实现并行运算的一行Python 代码
C语言位运算(按位与运算、或运算、异或运算、左移运算、右移运算)
分布式训练中数据并行远远不够,“模型并行+数据并行”才是王道
浅谈CPU 并行编程和 GPU 并行编程的区别
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券