我正在使用Hadoop设置一个包含两个data+compute节点和两个纯计算节点的集群。我正在使用Spark with Yarn进行数据处理。对于前一种类型的节点,我只需将host-name添加到workers配置中,hadoop会自动在这些节点上启动hdfs和YARN。但是对于仅用于计算的节点,我不希望它们运行dfs。我找不到任何hadoop配置来将特定节点排除在运行dfs之外。有人能告诉我设置这种节点分布的正确方法吗?
我已经使用root用户凭据在伪分布式模式下设置Hadoop。我希望提供对多个用户(比如hadoop1、hadoop2等)的访问,以便能够在这个集群上提交和运行MapReduce作业。- Added users hadoop1 and hadoop2 to a group called "hadoop".> - C