腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Dataproc纱线容器日志位置
、
、
此外,由于某些原因,我不能直接从UI导航到单个任务的stdout/stderr,因为它告诉我,每当我试图从UI
中
的链接访问日志时,我都无法访问站点
浏览 8
提问于2021-09-15
得票数 3
4
回答
如何在AWS EMR上重启yarn
、
、
我使用的是
Hadoop
2.6.0 (emr-4.2.0镜像)。我已经在yarn-site.xml
中
做了一些更改,并希望重新启动yarn以使更改生效。 有什么命令可以让我这样做吗?
浏览 0
提问于2016-01-23
得票数 28
5
回答
用Java往腾讯云服务器里的
Hadoop
写入数据时出现异常ipc.RemoteException?
、
、
、
我用腾讯云的学生机在CentOS7的系统上搭建了
Hadoop
的伪分布式的环境,配置等都正常,datanode,namenode 等进程都正常
开启
,http的50070也都能正常访问,空间足够,然后用Windows到服务器上用hdfs dfs -ls 查看时发现只创建了txt文件,但字符串并没有写入到txt文件
中
。上网查了很多,试了关闭hdfs 的safe mode等都没有解决问题。希望有大神能解答问题。\n".getBytes()); output.close();
浏览 3809
提问于2018-04-19
1
回答
如何将文件从HDFS复制到远程HDFS
、
我希望将文件从
Hadoop
集群
复制到远程
集群
。我知道远程名称节点的IP和端口。
hadoop
-cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file 但是,如果不配置
hadoop</em
浏览 1
提问于2018-04-20
得票数 0
回答已采纳
1
回答
使
Hadoop
以Kerberos用户身份运行
、
、
、
在Kerberos中有一个名为"foo“的用户,
hadoop
集群
受到Kerberos的保护。我想让
hadoop
集群
以"foo“的身份运行作业,我该
怎么
做?什么配置允许
hadoop
客户端指定kerberos用户帐户名运行,就像
hadoop
集群
'kinit username‘然后运行mapreduce作业一样?仅供参考,
hadoop
2.6.0
浏览 2
提问于2015-11-03
得票数 0
2
回答
动物园管理员和卡夫卡在
Hadoop
2.6
集群
中
的位置
、
、
Hadoop
2.6使用Yarn作为下一代地图减少,同时也是
集群
管理器。对于
集群
管理服务,我们还需要使用
Hadoop
2.6
中
的ZooKeep2.6吗?我们
怎么
设置动物园管理员。如何为
hadoop
集群
安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到
hadoop
文件系统。我已经设置了
Hadoop
2.6单节点
集群
。接下来,我理解的方法是让动物园管理员和Kafka负责数据流到<e
浏览 2
提问于2015-07-27
得票数 4
回答已采纳
1
回答
怎么
登录弹性
hadoop
集群
?
、
官方文档说要用登录子机的用户名密码, 在创建集群时根本没有设置。在哪可以看到应该用哪个账户密码登录啊?
浏览 375
提问于2017-11-06
1
回答
如何在一个
集群
中
运行
hadoop
流作业并将输出写入其他
集群
?
、
我有两个
hadoop
集群
和两个不同的ugi。我想在一个
集群
中
运行
hadoop
作业,因为队列是空的,但是我还想输出到另一个
集群
,因为它的hdfs是空的,我该
怎么
做呢?在
hadoop
流作业中有没有像distcp一样的方法(我可以设置源ugi和目标ugi)? 非常感谢mutch
浏览 14
提问于2018-08-24
得票数 0
1
回答
考虑多个
Hadoop
群集
、
我们有多个使用hive和pig的
hadoop
集群
,将它们整合到一个
集群
中
的最佳方式是什么?在BI
中
,这是通过构建EDW或MDM方法完成的。
hadoop
怎么
样?有人在考虑这个问题吗?
浏览 4
提问于2013-04-11
得票数 0
1
回答
在群集上部署Mahout作业
、
、
我是
Hadoop
/Mahout的新手,我理解这些概念,但我在将Mahout作业部署到已经设置的计算机
集群
时遇到了问题。我已经在一台计算机上使用了Mahout,但是我应该
怎么
做才能使它在已经形成的
Hadoop
集群
上运行呢?我有一个安装了
Hadoop
0.20.2和Mahout 0.9的
集群
,其中包含
Hadoop
1.2.1。我应该复制什么jars才能运行包含Mahout调用的代码,或者我还应该做些什么才能让它在
Hadoop
<e
浏览 0
提问于2014-10-29
得票数 0
1
回答
纱线日志. stdout和stderr变成了巨大的文件--如何避免
、
、
亲爱的朋友和学院因此,我将解释这个问题:[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd /grid/sdb/
hadoop
浏览 0
提问于2019-02-13
得票数 1
2
回答
我必须手动启动GCloud上的
Hadoop
群集
、
几个月来,我一直在使用使用Google脚本创建的
Hadoop
集群
。每次启动机器时,我都必须使用以下命令手动启动
Hadoop
:cd /home/
hadoop
/
hadoop
-install/sbin除了脚本,我还能
怎么
解决这个问题呢?(
集群
创建后的第一次引导总是自动启动
Hadoop
,为什么不总是这样呢
浏览 0
提问于2015-12-14
得票数 0
2
回答
将应用程序从Oracle更改为
Hadoop
、
、
、
、
我目前有一个web应用程序,它与Oracle
中
的所有数据一起运行。在较高级别上,应用程序由一个java、一些java、一些Ajax和oracle数据库组成。我想知道将整个套件转换为
Hadoop
会花费多少工作成本?下面是一些问题,可以帮助我掌握它。这里也有一些Ajax,这与SQL和
Hadoop
有什么不同? 在解释与
Hadoop
有关
浏览 3
提问于2014-03-27
得票数 2
回答已采纳
1
回答
如何将pyspark数据帧写入不同
hadoop
集群
、
、
我正在尝试备份我从pyspark程序写入
hadoop
集群
的数据。我可以这样做吗? 现在,我正在获取一个
hadoop
集群
客户端配置文件,该配置文件在环境变量
中
设置
Hadoop
集群
的详细信息。如果没有,我应该
怎么
做?
浏览 18
提问于2020-06-03
得票数 0
2
回答
Cascalog能否链接到外部
Hadoop
集群
?
、
看起来对
hadoop
的依赖是在项目的project.clj文件中提供的,如下所示如果我必须包含对本地安装的
Hadoop
单节点
集群
或一些外部
hadoop
集群
的依赖关系,我应该
怎么
做?如果它是本地的,我是否应该简单地将“
hadoop
的路径”放在"or
浏览 0
提问于2013-09-23
得票数 0
3
回答
hadoop
集群
中
的边缘节点
、
有人能给我解释一下
hadoop
中
Edge节点的架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘节点必须是
集群
的一部分吗(如果它在
集群
内,我们有什么优势?)它是否在hdfs
中
存储任何数据块。2)边缘节点可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
1
回答
当次Namenode失败时,对
hadoop
集群
的影响是什么?
当Secondary NameNode失败时,
hadoop
集群
会发生什么。
Hadoop
集群
被认为是单点故障,因为所有的medata都是由NameNode存储的。如果次要名称节点失败,群集将失败或继续运行,那么辅助NameNode
怎么
办?
浏览 0
提问于2014-01-15
得票数 1
回答已采纳
1
回答
Amazon Cloud上的
Hadoop
、
、
、
、
我正在尝试在Amazon Cloud上设置运行一些
hadoop
MapReduce作业,但我正在努力成功地创建一个
集群
。我已经下载了ec2文件,有我的证书和密钥对文件,但我相信是AMI给我带来了麻烦。如果我试图运行一个包含一个主节点和n个从节点的
集群
,我会使用标准兼容的AMI启动n+1实例,然后在终端
中
运行代码"
hadoop
-ec2 start cluster name n“。是否已经在amazon机器上安装了
hadoop
,并且可以访问和更改此文件? 谢谢
浏览 2
提问于2011-11-08
得票数 0
回答已采纳
1
回答
如何为Kerberized
集群
配置Apache NiFi
、
、
、
、
但是,当我尝试设置Apache NiFi来访问Hive或HDFS时, Kerberized
集群
。我有问题了。# kerberos #nifi.kerberos.service.principal
浏览 4
提问于2016-12-23
得票数 3
1
回答
在MRJob
中
连接配置单元
、
、
场景是,我需要处理一个文件(输入),并且对于每个记录,我需要检查输入文件
中
的某些字段是否与
Hadoop
集群
中
存储的字段匹配。我们的想法是使用MRJob处理输入文件,并使用HIVE从
hadoop
集群
获取数据。我想知道是否可以在MRJob模块内连接HIVE。如果是这样的话,该
怎么
做呢?我是
Hadoop
、MRJob和Hive的新手。 请提供一些建议。
浏览 0
提问于2016-11-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop YARN Cgroups 资源隔离讲解
弹性MapReduce
案例:HDFS分布式文件系统
Hadoop完全分布式搭建
CAD中让图纸自动备份怎么设置-功能开启再也不用担心图纸丢失
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券