我计划提高Hadoop MapReduce版本的雅可比方法算法的速度，以处理非常大的数据(20.000 ++方程)。据我所知，加速比指的是并行算法比相应的顺序算法快多少。我已经在hadoop mapreduce和顺序版本中实现了Jacobi方法。
我目前的加速技术是比较mapreduce和顺序版本，包括重复执行mapreduce和顺序版本30次，执行1次迭代。
浏览 3提问于2013-10-26得票数 0
(NetUtils.java:772) at org.apache.hadoop.ipc.Client.callat org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:368)
at org.apache.hadoop.ipc.Client.getConnectionorg.apache.hadoop</e
浏览 3提问于2016-02-10得票数 3
Hadoop - 2.5.1 Maven - 3.2.3 Oozie - 4.0.0[INFO] Apache Oozie Hadoop 1.1.1.oozie-4.0.0 ..............SUCCESS [ 1.705 s]
[INFO] Apache Oozie Hadoop Distcp 1.1.1.oozie-4.0.0 .......SUCCE
浏览 7提问于2014-10-27得票数 0
2回答
hadoop@ip-xxx:~$ hadoop jar /home/hadoop/lib/emr-s3distcp-1.0.jar --src s3n://xxx/click/20140520 --destDefault number of reduce tasks: 3
14/05/21 20:06:39 INFO security.ShellBasedUnixGroupsMapping: add hadoopto she
浏览 4提问于2014-05-21得票数 4
回想一下Amdahl关于估计最佳加速比的定律。回答以下问题。
您有一个程序，其40%的代码在三个处理器上并行，仅对于这一小部分代码，就实现了2.3的加速比。总体加速比是多少？
浏览 1提问于2019-11-19得票数 1
我将按照以下方式加载该文件：但是，当我用以下方式转储它时：我得到：
[main] WARN org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher
浏览 1提问于2012-02-28得票数 1
回答已采纳
1回答
Apache Spark RDD
、、、、
工具:使用spark 0.9.0的hadoop集群(不含YARN)。
理想的情况是通过HDFS在namenode上运行一个spark程序，而不在数据节点之间进行通信。
浏览 0提问于2014-04-02得票数 1
2回答
我最近开始使用spark，并且非常想知道我是否需要执行更好的查询，比如spark sql或databricks sql，以及为什么？
浏览 11提问于2022-11-25得票数 1
1回答
Sindi的回答适合我，方法是在spark选项中添加包：当我在命令下面输入时，它会工作。scala> sc.hadoopConfiguration.set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
scala> sc.textFile
浏览 1提问于2021-03-05得票数 0
回答已采纳
我需要多少台机器才能使用hadoop / mapreduce / mahout分发我的计算，从而比没有这些分布式框架的单台机器上运行的速度快得多？
浏览 0提问于2011-07-14得票数 6
回答已采纳
1回答
我注意到加速比比我预期的要大(见图)。
我预计使用4核CPU时使用8个线程的加速比应该小于或等于4，但加速比大于4.5。那件事怎么可能？理想曲线不是从(1,1)到(8,4)的直线吗？
浏览 0提问于2019-08-26得票数 1
回答已采纳
1回答
计算单周期CPU转换为5级流水线CPU的最大加速比。流水线阶段由耗时40 by的寄存器分隔。
800/(40*5) =最大加速比4。
浏览 2提问于2014-10-16得票数 0
1回答
对于每天必须处理至少"2-3 to“数据的业务用例，我在"Hadoop & Storm”上做了分析。谢谢，加金德拉
浏览 0提问于2012-11-06得票数 0
回答已采纳
1回答
计算机体系结构:加速
、、、
如果需要总体加速比为1.2，那么如果两者都得到了同样的改进，那么内存访问和乘法都需要多少加速比。我想如果我用Amdahl定律来寻找一个或另一个的加速比，我想我知道如何做到这一点，但是我不知道如何处理这个问题，以找到每一个问题的加速比，如果它们得到了同样的改进。
浏览 2提问于2014-05-10得票数 0
回答已采纳
1回答
我在计算加速比时被困住了。所以提出的问题是：
如果一个程序的50%被增强了2倍，其余的50%被增强了4倍，那么由于这些增强而导致的总体加速是什么？加速比为T/T‘。
加速比=T/(50/100x1/2)+(50/100x1/4)(50/100x1/2) 50%提高2倍，4倍。
浏览 2提问于2016-01-18得票数 8
回答已采纳
1回答
并行化计算最大加速比
、、、
Amdahl定律允许我们计算当我们的硬件增加越来越多的处理能力时，程序的最大理论加速比。这是由
(1-P)是程序的顺序部分，(P/N)是可以从加速比中受益的部分。现在我的问题是：，如何计算程序的最大加速比，同时牢记0(N)？假设我们有一个程序，它的顺序部分是25%，并行部分是75%。
浏览 3提问于2020-01-26得票数 1
回答已采纳
2回答
试图理解Amdahl定律
、、、、
(a)提醒：为了达到5的全局加速比，这种执行模式应该优化多少？那么11呢？当我试图计算答案A时，我得出了答案1.81 ( 20/11 )加速比=T/ T‘=T
浏览 3提问于2022-01-10得票数 1
由于我正在单个Tesla K40 GPU (与Intel Xeon E5 v2 CPU相比)上进行不同问题大小的加速测试，GPU通过增加问题大小显示出更高的加速比。例如，1百万元素的加速比为1.5倍，而1千万元素的加速比为11倍。
我不知道理论上是什么导致了大问题的高性能？实际上，这也是我在GPU上运行的许多科学(特别是流体力学)应用程序中看到的情况。实际上，我增加了两个版本中的问题大小(当然，在每个比较测试中都适用相同的问题大小)，并重新计算相应问题大小的加速比。
浏览 3提问于2016-07-07得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
