腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
一台机器上的猪
hadoop
、
apache-pig
、
etl
我没有
集群
,但出于生产效率的原因,我仍然想使用PIG。我可以在一台机器上使用PIG
吗
,否则它的性能会很差?
浏览 0
提问于2015-04-06
得票数 1
2
回答
Hadoop
复制因子优先级
hadoop
、
hdfs
目前,hdfs dfs -ls hdfs:///user/
hadoop
-user/data/0/0/0的输出显示了一个复制因子:感谢你的
浏览 3
提问于2015-11-06
得票数 0
回答已采纳
2
回答
如何在
单机
上模拟生产
集群
来测试
hadoop
作业
hadoop
我想在提交到生产环境之前,在开发工作站上运行
hadoop
作业进行测试。
hadoop
中的哪种模式操作允许在使用
单机
时最接近地模拟生产
集群
。
浏览 2
提问于2013-05-03
得票数 0
2
回答
设置(Linux)
Hadoop
集群
linux
、
hadoop
、
cluster-computing
是否需要先设置Linux
集群
才能设置
Hadoop
集群
?
浏览 0
提问于2009-09-30
得票数 3
1
回答
确定单节点
集群
上
Hadoop
Conf设置的一般方法
configuration
、
hadoop
、
configuration-files
、
task
、
configuration-management
我想知道如何最好地确定适当的map
和
reduce任务数量以及相应的JVM堆的最大大小?对于
Hadoop
新手来说,这些属性是在mapred-site.xml文件中设置的。基于(虚拟)内核
和
RAM的数量,有没有可以遵循的通用公式?在您的响应中,请考虑在作业处理之前/期间创建的各种附加
Hadoop
进程及其对内存使用率的影响(请参阅:) 当从
单机
集群
转移到双机
集群
时,您如何回答变化?
浏览 1
提问于2011-07-02
得票数 1
2
回答
MapReduce还是Spark?
apache-spark
、
hadoop
、
mapreduce
我在cloudera上测试过
hadoop
和
mapreduce,我发现它很酷,我认为我是最新的
和
相关的BigData解决方案。但是几天前,我发现了这个: 一个"Lightning fast
集群
计算系统“,能够在
Hadoop
集群
的顶部工作,并且显然能够粉碎mapreduce。我发现它在RAM中比在mapreduce中更有效。我认为,当您必须进行
集群
计算来克服在
单机
上可能遇到的I/O问题时,mapreduce仍然是相关的。但是,既然Spa
浏览 1
提问于2014-03-04
得票数 28
回答已采纳
1
回答
以分布式模式部署
Hadoop
程序
hadoop
目前,我正在使用Eclipse开发我的
Hadoop
演示。我已经在
Hadoop
单机
模式下运行并测试了它。但是现在我想把我的
Hadoop
演示编译成Jar文件,以便像Wordcount example
一样
以完全分布式的模式部署它。 有谁能指导我怎么做
吗
?
浏览 1
提问于2015-07-17
得票数 0
4
回答
可用于使用
Hadoop
/MapReduce框架的群集
mapreduce
、
cluster-computing
、
distributed-computing
有谁知道任何免费访问的
集群
,这些
集群
对公众开放,并且使用
Hadoop
/MapReduce框架?有很多关于如何使用MapReduce的教程,但是有没有一种方法可以在不使用本地
单机
并安装所需框架的情况下测试这些示例呢? 谢谢!
浏览 0
提问于2011-03-17
得票数 3
回答已采纳
1
回答
Mahout
单机
性能
java
、
mahout
我的应用程序将在没有
Hadoop
的情况下在
单机
上运行。 我想问一下,单节点Mahout是否也有开销,就像分布式
一样
?我在一本书中读到了Mahout in action,然后多
集群
Mahout有一些开销(初始化,传输数据等)。但是如果我们使用没有MapReduce范型的Mahout算法,应该不会有开销,对吧?
浏览 0
提问于2013-09-02
得票数 0
3
回答
如何在单个JVM中运行
hadoop
多线程?
hadoop
、
jvm
、
mapreduce
我有4个核心的台式机,希望使用
hadoop
将我的所有核心用于本地数据处理。(例如,有时我有足够的能力在本地处理数据,有时我向
集群
提交相同的作业)。默认情况下,
hadoop
本地模式只运行一个映射器
和
一个reducer,所以我的本地作业非常慢。我不想首先在
单机
上设置
集群
,因为“痛苦”的配置,然后我每次都必须创建jar。所以完美的解决方案是如何在一台机器上运行嵌入式
Hadoop
PS伪分布式模式是不好的选择,因为它将创建具有单个节点的
集群
,因此我将只获得一个
浏览 0
提问于2012-09-20
得票数 2
1
回答
如何使用apache Nutch 2.3每天从web上抓取100万个文档
hadoop
、
web-scraping
、
web-crawler
、
hbase
、
nutch
我已经使用
hadoop
1.2.1
和
hbase 0.94.x配置了apache nutch 2.3。我不得不在网上爬行几个星期。需要抓取大约一百万个文档。我有四个节点的
hadoop
集群
。在此配置之前,我在
单机
上设置了nutch,并抓取了一些文档。但爬行速度不超过50k ~ 80k。nutch的配置应该是什么,这样它才能每天抓取所需的文档量。
浏览 0
提问于2015-12-01
得票数 1
1
回答
如何在具有单节点(CentOS)纱线
集群
的
单机
(CentOS)上安装火花
hadoop
、
centos
、
apache-spark
作为
hadoop
/Spark初学者,我遵循了本中的教程,并在我的
单机
(CentOS 6)上成功地部署了
hadoop
框架。现在,我也希望在同一台机器上安装Spark1.2,并让它与机器上的单节点Yarn
集群
一起工作,这意味着在我的
单机
上存储在hdfs上的文件上执行Spark,并将结果输出到hdfs。(2)从Apache网站下载了Spark1.2.1(为
Hadoop
2.4或更高版本预构建),并对其进行了解压缩。 接下来该怎么办?如何更改星火目录中的哪个配置文件?有人能一步一步地给我
浏览 4
提问于2015-03-19
得票数 0
回答已采纳
3
回答
是否可以在单个节点上使用
Hadoop
来获得更高的速度?
hadoop
我只有一个8核
和
128 and内存的工作站。 在
Hadoop
上使用独立的伪分布式模式更好,还是不使用
Hadoop
,而是研究最近的一致性?如果使用
Hadoop
更好,那么在单个工作站上是否有任何规则来决定配置,包括映射器、还原剂等的数量?
浏览 4
提问于2014-03-01
得票数 1
回答已采纳
1
回答
用于并行非MapReduce算法的
Hadoop
集群
hadoop
、
parallel-processing
、
cluster-computing
Apache
Hadoop
的灵感来自于谷歌的MapReduce论文。MapReduce的流程可以看作是两组SIMD(单指令多数据流),一组用于映射器,另一组用于减法器。MapReduce框架(
和
Hadoop
)的本质是自动划分数据,确定分区
和
并行作业的数量,以及管理分布式资源。 我有一个并行运行的通用算法(不一定是MapReducable)。相反,该算法只是一个
单机
python/java程序。我想并行运行这个程序的64个副本(假设程序中没有并发问题)。也就是说,我对
Hadoop
<
浏览 0
提问于2013-04-10
得票数 0
2
回答
Hadoop
大数据平台如何搭建呢?需要注意什么呢?
大数据解决方案
、
hadoop
、
大数据
Hadoop
平台如何进行搭建并使用?
浏览 348
提问于2019-04-03
1
回答
在
Hadoop
单机
模式
和
伪分布式模式下的DataFlow差异?
hadoop
、
mapreduce
有人能告诉我
Hadoop
单机
版
和
伪分布式版的数据流有什么区别
吗
?事实上,我正在尝试运行一个由John Norstad提出的矩阵乘法的例子。它在
hadoop
独立模式下运行良好,但在伪分布式模式下无法正常工作。我无法解决这个问题,所以请告诉我
hadoop
单机
模式
和
伪分布式模式之间的原理差异,这对修复所述的problem.Thanks有帮助WL
浏览 1
提问于2012-01-12
得票数 1
1
回答
如何建立Storm伪分布式
集群
apache-storm
我已经建立了一个动物园管理员伪分布式
集群
,并且我想在我的
单机
上的伪
集群
上运行Storm拓扑,我应该怎么办?我见过有人写到,它需要配置Storm 3次,就像
和
动物园管理员打交道
一样
,我不确定,有人知道
吗
?
浏览 2
提问于2016-01-09
得票数 0
回答已采纳
1
回答
wordcount.scala错误
macos
、
scala
、
scalding
count.scala程序测试安装时,收到以下错误消息: scalac -classpath /var/folders/_j/_7d75_hj79133bcm7xrqzvz80000gn/T/maven/
hadoop
-core
浏览 2
提问于2012-11-06
得票数 0
1
回答
在Apache上扩展python mrjob程序
python
、
azure
、
hadoop
、
azure-hdinsight
、
mrjob
MRTimeSeriesFrequencyCount.run()我是mapreduce
和
hadoop
当我扩大存储在csv中的行数时,我的笔记本电脑--
Hadoop
8570 w--仍然比在
Hadoop
中运行代码更快(在100万行中为45秒
和
628.29秒)。
集群
有4个工作节点,每个节点有4个核心,2个头节点,每个节点有4个核心。它不应该表现得更
浏览 0
提问于2015-12-09
得票数 0
回答已采纳
1
回答
集群
和
单机
系统中
Hadoop
的处理时间
ubuntu
、
hadoop
、
hbase
、
distributed-computing
我在相同的hdfs上设置了一个3节点
hadoop
集群
(1个Namenode,2个数据节点)
和
hbase。每个节点都是在我的windows 8机器上运行的512 MB Ubuntu Virtual box映像(英特尔i5,4 MB,2.4 RAM ) 我已经根据这个博客配置了hbase-
hadoop
。当我在一个独立的(512MB虚拟机)
hadoop
-hbase中运行该程序时,大约需要23分钟。但是当我在
集群
中运行相同的jar (512*3MB)时,它需要40分钟以上的时间。为什么
浏览 2
提问于2013-02-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop教程:功能,组件,集群和拓扑
Hadoop的配置单机模式和伪分布式介绍以及配置ssh公私钥
hadoop,spark在虚拟机集群里跑还有性能上的优势吗?
单机游戏盗版和正版体验一样?用它告诉你,差别其实很大
浙江完成全国首例基于鲲鹏和x86计算平台混合部署的Hadoop集群
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券