腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何将pig与cassandra一起使用?
、
、
我知道cassandra集成了
hadoop
,但它似乎是使用cassandra自己的模仿来组合cassandra/
hadoop
集群
的。但是,在单独的
hadoop
集群
中,是否有可以与pig一起使用的
加载
器,可以向/从单独的cassandra
集群
加载
/存储?这看起来实际上并不存在,但想要确认。
浏览 0
提问于2014-10-07
得票数 0
2
回答
在引导操作中找不到
Hadoop
命令
、
、
我有一个EMR
集群
,它作为引导操作使用来自我的script.sh的s3。其中包括一些
hadoop
dfs -distcp和
hadoop
dfs -copyToLocal命令。如果我登录到构建好的EMR
集群
并运行命令,这是绝对好的,但如果我尝试作为引导操作的一部分,它将失败。/1/setup.sh: line 7: hdfs: command not found /mnt/var/lib/bootstrap-actions/1/setup.sh:
浏览 6
提问于2016-04-15
得票数 1
回答已采纳
1
回答
内存配置
、
我正在运行一个3节点
集群
与星火,卡桑德拉,
Hadoop
,特留和雅恩。我想将我的文件存储在hdfs中,所以我
加载
了
hadoop
。在运行我的查询时,我发现内存不足。对
hadoop
有这样的设置吗?亚恩
怎么
样?由于我只使用
hadoop
加载
我的平面文件,我认为将其设置为1或2gb应该可以。我的盒子有32 16的内存和16个核心。
浏览 0
提问于2017-12-06
得票数 0
回答已采纳
1
回答
使
Hadoop
以Kerberos用户身份运行
、
、
、
在Kerberos中有一个名为"foo“的用户,
hadoop
集群
受到Kerberos的保护。我想让
hadoop
集群
以"foo“的身份运行作业,我该
怎么
做?什么配置允许
hadoop
客户端指定kerberos用户帐户名运行,就像
hadoop
集群
'kinit username‘然后运行mapreduce作业一样?仅供参考,
hadoop
2.6.0
浏览 2
提问于2015-11-03
得票数 0
2
回答
如果core-site.xml更新,是否应重新启动
Hadoop
我是
Hadoop
的新手,我在当前运行的
Hadoop
系统中向core-site.xml添加了更多属性,所以我是否应该重新启动
Hadoop
以使这些新属性可用
浏览 0
提问于2016-04-14
得票数 2
2
回答
Hadoop
第一个示例
我对大数据概念非常陌生&
Hadoop
,所以对于任何明显的问题我都表示歉意。基本上,我在运行
Hadoop
示例时遇到了一些问题,如下所示:Illegal option: h 显然我使用错误的用法,
浏览 4
提问于2015-02-19
得票数 0
回答已采纳
5
回答
用Java往腾讯云服务器里的
Hadoop
写入数据时出现异常ipc.RemoteException?
、
、
、
我用腾讯云的学生机在CentOS7的系统上搭建了
Hadoop
的伪分布式的环境,配置等都正常,datanode,namenode 等进程都正常开启,http的50070也都能正常访问,空间足够,然后用Windows\n".getBytes()); output.close();下面是
Hadoop
的logs文件夹中
hadoop
-ma-namenode-spring.log文件的报错 2018-04-19 19:22:42,078
浏览 3809
提问于2018-04-19
1
回答
怎么
登录弹性
hadoop
集群
?
、
官方文档说要用登录子机的用户名密码, 在创建集群时根本没有设置。在哪可以看到应该用哪个账户密码登录啊?
浏览 375
提问于2017-11-06
1
回答
在
Hadoop
集群
中为MapReduce作业部署JAR
我在CentOS linux中有一个5节点
hadoop
集群
。我写了一张地图,还原并编译了这个罐子。我需要将JAR部署到哪个节点? 提前谢谢。
浏览 7
提问于2015-06-15
得票数 2
1
回答
在Mesos上访问不同
Hadoop
集群
中的HDFS数据的独立星火
集群
、
、
、
我们有一个
Hadoop
集群
,有275个节点(55 We总内存,12000 VCores)。这个
集群
与几个项目共享,我们有一个纱线队列,用有限的资源分配给我们。为了增强性能,我们正在考虑为我们的项目(在同一个网络中的Mesos上)构建一个独立的Spark
集群
,并在
Hadoop
集群
上访问HDFS数据。如火花文档中所述: 我想知
浏览 3
提问于2017-08-28
得票数 1
1
回答
如何让Pig使用lzo文件?
、
、
而且,它们中的每一个似乎都没有指定您是要让事情在远程
集群
上工作,还是要与远程
集群
进行本地交互,等等。也就是说,我的目标只是让我的本地计算机(一台mac)让pig能够处理存在于
Hadoop
集群
上的lzo压缩文件,而
Hadoop
集群
已经设置为使用lzo文件。我已经在本地安装了
Hadoop
,可以使用
hadoop
fs -[command]从
集群
中获取文件。我也已经在本地安装了pig,当我运行脚本或者只是通过grunt运行东西时,可以与<em
浏览 3
提问于2011-09-02
得票数 6
回答已采纳
1
回答
星星之火独立
集群
:配置分布式文件系统
、
我刚刚从星火本地设置转移到一个星火独立
集群
。显然,
加载
和保存文件不再有效。问题1:我是否正确,我仍然需要单独下载、安装和配置
Hadoop
来处理独立的
集群
?问题2:,使用
Hadoop
运行和使用Yarn运行有什么区别?...and更容易安装和配置(假设数据负载很轻)?
浏览 0
提问于2018-07-13
得票数 1
回答已采纳
1
回答
如何将文件从HDFS复制到远程HDFS
、
我希望将文件从
Hadoop
集群
复制到远程
集群
。我知道远程名称节点的IP和端口。
hadoop
-cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file 但是,如果不配置
hadoop
_conf_di
浏览 1
提问于2018-04-20
得票数 0
回答已采纳
2
回答
动物园管理员和卡夫卡在
Hadoop
2.6
集群
中的位置
、
、
Hadoop
2.6使用Yarn作为下一代地图减少,同时也是
集群
管理器。对于
集群
管理服务,我们还需要使用
Hadoop
2.6中的ZooKeep2.6吗?我们
怎么
设置动物园管理员。如何为
hadoop
集群
安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到
hadoop
文件系统。我已经设置了
Hadoop
2.6单节点
集群
。接下来,我理解的方法是让动物园管理员和Kafka负责数据流到
hadoop<
浏览 2
提问于2015-07-27
得票数 4
回答已采纳
1
回答
在群集上部署Mahout作业
、
、
我是
Hadoop
/Mahout的新手,我理解这些概念,但我在将Mahout作业部署到已经设置的计算机
集群
时遇到了问题。我已经在一台计算机上使用了Mahout,但是我应该
怎么
做才能使它在已经形成的
Hadoop
集群
上运行呢?我有一个安装了
Hadoop
0.20.2和Mahout 0.9的
集群
,其中包含
Hadoop
1.2.1。我应该复制什么jars才能运行包含Mahout调用的代码,或者我还应该做些什么才能让它在
Hadoop
<e
浏览 0
提问于2014-10-29
得票数 0
2
回答
是否可以在EMR中使用自定义
hadoop
版本?
、
、
、
、
截至今天(2022-06-28),AWS EMR最新版本为6.6.0,使用
Hadoop
3.2.1。)spark =.
浏览 8
提问于2022-06-29
得票数 1
回答已采纳
2
回答
如何通过R访问HDFS?
、
、
但是,我在"rhdfs“包中使用RStudio,因为我必须创建
HADOOP
_CMD环境变量,所以我将
Hadoop
下载到机器上,以便给出环境变量,并更改核心-site.xml。这是我的代码:"C:/Users/antonio.silva/Desktop/
hadoop
-2.7.3/share/
hadoop
/tools/lib/
ha
浏览 1
提问于2018-12-06
得票数 1
回答已采纳
1
回答
边缘节点与本地文件系统关系
、
Hadoop
中的边缘节点和本地文件系统之间有什么联系吗?我已经研究过,边缘节点是进入hdfs的一种门方式。但是,在hdfs和本地文件系统之间使用put或get命令传输文件时,为什么没有边缘节点呢?
浏览 4
提问于2022-07-05
得票数 0
2
回答
我必须手动启动GCloud上的
Hadoop
群集
、
几个月来,我一直在使用使用Google脚本创建的
Hadoop
集群
。每次启动机器时,我都必须使用以下命令手动启动
Hadoop
:cd /home/
hadoop
/
hadoop
-install/sbin除了脚本,我还能
怎么
解决这个问题呢?(
集群
创建后的第一次引导总是自动启动
Hadoop
,为什么不总是这样呢
浏览 0
提问于2015-12-14
得票数 0
1
回答
Hadoop
HDFS启动失败需要格式化
、
我有一个用于HDFS的多节点独立
hadoop
集群
。我可以将数据
加载
到HDFS,但是每次我重新启动计算机并通过start-dfs.sh启动
集群
时,直到我执行擦除所有数据的hdfs namenode -format时,我才能看到仪表板。如何启动
hadoop
集群
而无需通过hdfs namenode -format
浏览 2
提问于2020-08-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop集群配置
Hadoop集群PoC方案
Hadoop2.7.0 集群安装部署
如何给Hadoop集群划分角色
新手如何快速搭建Hadoop集群
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券