腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
设置(
Linux
)
Hadoop
集群
、
、
是否需要先设置
Linux
集群才能设置
Hadoop
集群?
浏览 0
提问于2009-09-30
得票数 3
2
回答
Hadoop
大数据平台如何搭建呢?需要注意什么呢?
、
、
Hadoop
平台如何进行搭建并使用?
浏览 373
提问于2019-04-03
1
回答
一台机器上的猪
、
、
假设我有一个包含100 MM记录的文件,我想使用pig来处理它。我没有集群,但出于生产效率的原因,我仍然想使用PIG。我可以在一台机器上使用PIG吗,否则它的性能会很差?
浏览 0
提问于2015-04-06
得票数 1
1
回答
在
Hadoop
单机
模式和伪分布式模式下的DataFlow差异?
、
有人能告诉我
Hadoop
单机
版和伪分布式版的数据流有什么区别吗?事实上,我正在尝试运行一个由John Norstad提出的矩阵乘法的例子。它在
hadoop
独立模式下运行良好,但在伪分布式模式下无法正常工作。我无法解决这个问题,所以请告诉我
hadoop
单机
模式和伪分布式模式之间的原理差异,这对修复所述的problem.Thanks有帮助WL
浏览 1
提问于2012-01-12
得票数 1
2
回答
如何在Windows机器上设置Spark集群?
、
、
、
、
我正在尝试在Windows机器上设置Spark集群。不使用Mesos或纱线的具体缺点是什么?使用这两种方法会有多大的痛苦?有没有人在这里有经验?
浏览 0
提问于2013-07-04
得票数 1
回答已采纳
2
回答
如何在
单机
上模拟生产集群来测试
hadoop
作业
我想在提交到生产环境之前,在开发工作站上运行
hadoop
作业进行测试。
hadoop
中的哪种模式操作允许在使用
单机
时最接近地模拟生产集群。
浏览 2
提问于2013-05-03
得票数 0
2
回答
Hadoop
复制因子优先级
、
目前,hdfs dfs -ls hdfs:///user/
hadoop
-user/data/0/0/0的输出显示了一个复制因子:感谢你的
浏览 3
提问于2015-11-06
得票数 0
回答已采纳
1
回答
以分布式模式部署
Hadoop
程序
目前,我正在使用Eclipse开发我的
Hadoop
演示。我已经在
Hadoop
单机
模式下运行并测试了它。但是现在我想把我的
Hadoop
演示编译成Jar文件,以便像Wordcount example一样以完全分布式的模式部署它。 有谁能指导我怎么做吗?
浏览 1
提问于2015-07-17
得票数 0
1
回答
linux
面板不见了?
我安装的
单机
版
linux
面板,建设的网站,现在好久没使用了,再去上去没法打开?怎么办呀
浏览 319
提问于2019-05-20
3
回答
hadoop
-2.2.0 mapreduce在ubuntu上不起作用
、
、
、
我已经在64位Ubuntu12.04.3(精确)上安装了
Hadoop
2.2.0,并按照博客(,如果你感兴趣)中的建议配置了配置xml文件。因为缺少一些库,我经常收到以下消息,但我不认为这是导致问题的原因: WARN util.NativeCodeLoader: Unable to load native-
hadoop
library for无论如何,使用我下载的(非maven)
hadoop
,分布式文件系统似乎可以正常运行。然而,当我尝试按照教程运行WordCount mapreduce示例时,我就卡住了。另外,下面是hdfs dfsadm
浏览 0
提问于2013-11-06
得票数 2
2
回答
Hadoop
虚拟群集与
单机
、
、
、
我有一个关于在
单机
中使用多个虚拟化节点与在
单机
上使用单节点的速度和性能的问题。提前谢谢你
浏览 0
提问于2013-02-18
得票数 4
回答已采纳
1
回答
Hadoop
是如何决定在桶/节点之间分发的?
、
、
、
我是地图/还原和
Hadoop
框架的新手。我正在
单机
上运行
Hadoop
程序(用于尝试)。我有n个输入文件,我想从这些文件中得到一些单词摘要。我知道map函数返回键值对,但是如何调用map?
浏览 4
提问于2013-09-22
得票数 0
回答已采纳
1
回答
如何在具有单节点(CentOS)纱线集群的
单机
(CentOS)上安装火花
、
、
作为
hadoop
/Spark初学者,我遵循了本中的教程,并在我的
单机
(CentOS 6)上成功地部署了
hadoop
框架。现在,我也希望在同一台机器上安装Spark1.2,并让它与机器上的单节点Yarn集群一起工作,这意味着在我的
单机
上存储在hdfs上的文件上执行Spark,并将结果输出到hdfs。(2)从Apache网站下载了Spark1.2.1(为
Hadoop
2.4或更高版本预构建),并对其进行了解压缩。 接下来该怎么办?如何更改星火目录中的哪个配置文件?有人能一步一步地给我一份教程吗?(如果
浏览 4
提问于2015-03-19
得票数 0
回答已采纳
1
回答
在Apache上扩展python mrjob程序
、
、
、
、
MRTimeSeriesFrequencyCount.run()我是mapreduce和
hadoop
当我扩大存储在csv中的行数时,我的笔记本电脑--
Hadoop
8570 w--仍然比在
Hadoop
中运行代码更快(在100万行中为45秒和628.29秒)。
浏览 0
提问于2015-12-09
得票数 0
回答已采纳
1
回答
评估
Hadoop
性能所需的数据大小
、
、
我正在使用Docker容器在一台机器上运行带有3个datanodes的
Hadoop
。我已经在有200个数据点的小型模拟数据集上运行了一个KMeans算法。由于
Hadoop
的开销,这个过程需要很长的时间,大约2到3分钟,而在R中本地运行kmeans则需要几秒钟。我想知道我的数据集对于
Hadoop
来说有多大,超过了非分布式方法,如果这是可能的话,因为我在
单机
上运行所有的节点。
浏览 0
提问于2019-11-08
得票数 0
回答已采纳
3
回答
是否可以在单个节点上使用
Hadoop
来获得更高的速度?
在
Hadoop
上使用独立的伪分布式模式更好,还是不使用
Hadoop
,而是研究最近的一致性? 如果使用
Hadoop
更好,那么在单个工作站上是否有任何规则来决定配置,包括映射器、还原剂等的数量?
浏览 4
提问于2014-03-01
得票数 1
回答已采纳
1
回答
wordcount.scala错误
、
、
count.scala程序测试安装时,收到以下错误消息: scalac -classpath /var/folders/_j/_7d75_hj79133bcm7xrqzvz80000gn/T/maven/
hadoop
-core
浏览 2
提问于2012-11-06
得票数 0
3
回答
如何在所有可用节点上运行任务?
、
我对
Hadoop
和蜂巢世界很陌生。 我编写了一个Hive查询,它正在处理1.89亿行(40 GB文件)。当我在执行查询时。Hive查询在
单机
上执行,并生成多个映射和减少任务。这是预期的行为吗?我在很多文章中读过
Hadoop
是分布式处理框架。我所理解的
Hadoop
会将您的任务拆分为多个任务,并将这些任务分配到不同的节点中,一旦任务完成,减速器将加入输出。如果我错了,请纠正我。我使用
Hadoop
2.2.0和Hive 0.12.0。
浏览 2
提问于2014-01-21
得票数 0
回答已采纳
1
回答
如何使用apache Nutch 2.3每天从web上抓取100万个文档
、
、
、
、
我已经使用
hadoop
1.2.1和hbase 0.94.x配置了apache nutch 2.3。我不得不在网上爬行几个星期。需要抓取大约一百万个文档。我有四个节点的
hadoop
集群。在此配置之前,我在
单机
上设置了nutch,并抓取了一些文档。但爬行速度不超过50k ~ 80k。nutch的配置应该是什么,这样它才能每天抓取所需的文档量。
浏览 0
提问于2015-12-01
得票数 1
1
回答
DFS浏览器只能浏览分布式文件系统
、
我已经安装了
hadoop
1.2.1 (都在
单机
上)。我在eclipse中得到一个错误,“DFS浏览器不能浏览分布式文件系统以外的任何东西”。
浏览 1
提问于2014-05-20
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux之单机日志审核
Hadoop的配置单机模式和伪分布式介绍以及配置ssh公私钥
Hadoop Hadoop中的推测执行
Hadoop 介绍
你也能看懂Hadoop——Hadoop生态体系
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券