腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Hadoop/Spark中的
多线程
、
、
我对
多线程
有一个总体的想法,但不确定它是如何在Hadoop中使用的。 根据我的知识,Yarn负责管理/控制Spark/
Mapreduce
作业资源,这里不能想到
多线程
。
浏览 14
提问于2016-11-16
得票数 2
2
回答
MapReduce
是否适合解决单机多核内存环境中的问题?
、
、
、
即使在一台机器上,
MapReduce
抽象对于处理问题来说也是一个很好的抽象吗?例如,我有一台12核的机器,我必须计算成千上万个文件中的字数(经典的
MapReduce
示例)。考虑到我们在一台只有一个硬盘的机器上工作,在
多线程
中使用Mapper和Reducer的
MapReduce
实现是解决这个问题的好方法?我想我的问题可以归结为:
MapReduce
范例是否只适用于在机器集群中工作?
浏览 3
提问于2011-06-25
得票数 6
回答已采纳
1
回答
Mapreduce
在2.7转换后不再起作用
、
、
、
在将我们的应用程序转换到Python2.7之后,配置
多线程
,并在app.yaml中引用
mapreduce
,如下所示…… #script: google.appengine.ext.
mapreduce
.main.app像这样调用
mapreduce
control.start_map(
浏览 0
提问于2012-09-12
得票数 1
回答已采纳
2
回答
有没有针对Delphi的
MapReduce
库?
、
、
我最近读了一篇很棒的文章,它简明扼要地解释了谷歌
MapReduce
的力量: 我知道来自Andreas Hausladen的这个方便的库,如果没有通用的Map Reduce,这是最好的构建库吗? 谢谢!
浏览 4
提问于2009-08-04
得票数 8
1
回答
如何简单地将SQS队列转储到s3?
、
、
我们不需要
多线程
/
mapreduce
/spark,我们的SQS队列非常小。
浏览 1
提问于2015-10-30
得票数 3
2
回答
基于C++/QT的线程化多核平台独立编程
、
、
我将在c++/qt中创建一个3d模型查看软件,它必须是线程化的,它高效地利用了多个核,并且必须独立于平台(在os和cpu体系结构方面)。您能建议我一些资源/示例代码来规划线程架构和多核编程吗?(预先谢谢:)
浏览 0
提问于2011-06-17
得票数 0
2
回答
是使用多重阅读的
Mapreduce
作业吗
、
、
我很好奇
mapreduce
作业是否在一台机器中使用多个线程。例如,我在hadoop集群中有10个服务器,默认情况下,如果输入文件足够大,就会有10个映射器。单个映射器是否在一台机器中使用多个线程?
浏览 6
提问于2016-10-06
得票数 4
回答已采纳
2
回答
运行带有where子句的配置单元查询时,
Mapreduce
作业未启动
当我运行一个带有where子句的配置单元查询时,它会立即给出结果,而不会启动任何
MapReduce
作业。我不知道发生了什么。表中有超过10万条记录。
浏览 2
提问于2017-09-28
得票数 0
1
回答
有多快?
、
在GAE
MapReduce
上,计算密集型增益的期望是多少?我感兴趣的场景是计算密集型的,因此,例如:在一个单线程的单个核心应用程序中乘以一万亿个随机浮动。
MapReduce
的计算密集型性能增益是否指向渐近线,如果是的话,那么该渐近线的性能增益是什么呢?的注释中也有关于
MapReduce
适合于面向URL的用户生成的大量数据的信息,然而,我的问题不是关于数据存储密集型应用程序的性能,而不是同一个为
MapReduce
重写的应用程序。该场景也不涉及大量通信带宽(除了到达
MapReduce
使用的任务队列URL所必
浏览 4
提问于2011-03-31
得票数 0
4
回答
如何在Hbase中使用过滤器计数行数?
我只需要找出扫描结果的行数。下面的代码的问题是它返回行键和列键,这使得它在将数据传送到客户端时非常慢。我只需要将扫描结果中的行计数发送到客户端。有什么具体的方法直接做到这一点吗?PrefixFilter('test_row') AND FirstKeyOnlyFilter() AND ValueFilter(=, 'bin
浏览 5
提问于2014-03-31
得票数 1
回答已采纳
3
回答
Java多核处理
、
、
我想了解Java的多核处理。据我所知,Threading是多核的一种,我觉得我已经很好地掌握了这一点。我知道还有其他方法可以进行多核处理,但我不知道它们是什么。有没有人知道一些好的简单的教程/示例,或者有他们自己的教程/示例,我可以看看,以了解更多关于Java中的多核处理?
浏览 1
提问于2013-01-03
得票数 7
回答已采纳
3
回答
PHP与Hadoop/
MapReduce
实现中的其他语言,以及云中的一般语言
、
、
、
、
我开始学习一些Hadoop/
MapReduce
,主要来自PHP背景,以及一些Java和Python。但是,似乎大多数
MapReduce
的实现都是用Java、Ruby、C++或python语言实现的。我已经看过了,看起来PHP中有一些Hadoop/
MapReduce
,但绝大多数文献似乎都致力于这四种语言。在涉及Hadoop/
MapReduce
的云计算项目中,为什么PHP是第二类语言,有什么好的理由吗?
浏览 0
提问于2010-06-25
得票数 3
回答已采纳
1
回答
Android系统下
多线程
Java程序性能差异的原因是什么?
、
、
、
、
我尝试在Google Nexus7上运行一个
多线程
Java程序(采用
MapReduce
风格),并使用以下命令测量执行时间我发现性能差异很大(在Tegra
浏览 4
提问于2012-12-08
得票数 0
1
回答
什么是StreamSets架构?
、
即使在看完教程之后,我对架构也不是很清楚。我们如何在分布式环境中扩展streamset?比方说,我们的输入数据速度从源开始增加,那么如何确保SDC不会给性能带来问题呢?将运行多少个守护进程?它是Master worker架构还是点对点架构?另外,请让我知道数据流性能管理器的架构。此产品中有哪些所有的守护进程?
浏览 4
提问于2017-12-08
得票数 3
1
回答
MongoDB - Map Reduce的锁定是如何工作的?
、
、
在对集合执行操作时,MongoDB map reduce是否会锁定该集合?我想知道Map/Reduce执行不好的可能性是否很大,因为该集合上正在进行其他操作(插入、更新和主要是读取)。特别是,我想知道Map/Reduce是否会干扰用户在集合上执行的正常操作。
浏览 2
提问于2012-03-26
得票数 4
回答已采纳
3
回答
多线程
和并行编程的区别?
、
我有一个四核处理器。我用java编写了类似的代码;public class Some extends Thread { private String name; sharedVal = val; } int temp; while(
浏览 0
提问于2011-11-25
得票数 15
回答已采纳
1
回答
是否可以在hadoop中创建/使用非paralleized文件?
我们总是说,如果我们使用hadoop来模仿我们的数据和程序,那么速度会有多快。我想知道,是否有可能将一个小文件保存在一个特定的dataNode(而不是paralleized)中?
浏览 3
提问于2017-11-27
得票数 0
回答已采纳
1
回答
如何用Solr索引目录中的所有csv文件?
、
、
、
、
给定一个包含数百个标签分隔的csv文件的目录,其中每个文件在第一行中都不包含任何标题。这意味着我们将通过其他means.These文件指定列名,这些文件可以位于本地磁盘或HDFS上。
浏览 3
提问于2015-07-31
得票数 0
回答已采纳
1
回答
h2o独立和hadoop有什么区别?
算法在H2O的分布式Map/Reduce框架上实现,并利用Java /Join框架进行
多线程
处理。数据是并行读取的,并且分布在整个集群. 看看h2o ,我发现有一个独立的h2o版本。例如:我假设h2o算法的目的是使用
MapReduce
算法,那么当使用独立模式时,ML训练在H2OFrame objs上会更慢吗?即使单个主机具有相同的内存,就像作为纱线应用程序分配一样?
浏览 2
提问于2019-09-03
得票数 1
回答已采纳
1
回答
使用PHP CLI处理imap和mysql或其他语言的电子邮件检索
、
、
、
当涉及到处理大量电子邮件时,我是否应该使用php cli从imap获取电子邮件并将它们存储在mysql数据库中。对于小的电子邮件集,它看起来很好,但当你处理数千封电子邮件时,使用php可能不是处理大型数据集的最佳语言。也许有一种语言可以更好地处理imap通信和mysql插入?
浏览 3
提问于2013-07-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MapReduce详解
MapReduce(一)
弹性MapReduce
MaxCompute MapReduce
Hadoop之MapReduce
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券