如何在YARN中获得用户可访问的队列？
在YARN中，可以通过以下步骤获得用户可访问的队列：
- 首先，需要使用YARN的命令行工具或YARN的API与YARN集群进行交互。
- 使用命令行工具时，可以运行以下命令来获取用户可访问的队列：
- 使用命令行工具时，可以运行以下命令来获取用户可访问的队列：
- 这将显示所有队列的状态，包括用户可访问的队列。
- 使用YARN的API时，可以使用
YarnClient类来获取队列的信息。首先，创建一个YarnClient对象，并通过init()方法初始化。然后，使用getQueueInfo()方法获取队列的信息。可以通过设置QueueInfo对象的queueName属性来指定要获取的队列名称，或者使用getQueues()方法获取所有队列的信息。 - 示例代码如下：
- 示例代码如下：
无论是使用命令行工具还是YARN的API，都可以获取用户可访问的队列的相关信息，包括队列名称、队列状态、队列容量等。根据具体的需求，可以进一步处理队列的信息，例如根据队列容量进行资源调度、监控队列的状态等。
对于腾讯云的相关产品和产品介绍链接地址，可以参考腾讯云官方文档或咨询腾讯云的技术支持团队，以获取最新的产品信息和链接地址。
相关·内容
下面是我的调度程序xml文件，我限制了对根队列的访问，其中作为dev2，qa2用户应该只提交到他们的队列。但我可以提交作业到QA队列作为dev2用户也，这应该不会发生，我也已经相应地修改了游侠纱线策略和禁用超级策略，所有队列访问所有用户，请给我意见。
yarn.scheduler.capacity.root.default.user-limit-factor=1
yarn.scheduler.capacity.root.default.state=RUNNING
yarn.scheduler.capacity.root.default.maximum-capacity=40
yarn.sche
浏览 3提问于2017-02-20得票数 2
考虑有3个顶级队列: q1、q2、q3。容量调度器
q1和q2的用户将他们的作业提交给他们各自的队列，保证他们得到分配的资源。现在，没有被q3利用的资源必须被q1和q2所利用。yarn在分配额外资源时会考虑哪些因素？谁(q1，q2)获得了优先权？
浏览 6提问于2015-10-05得票数 1
1回答
我使用典型的stack YARN/Ranger和原子策略来访问YARN队列。拥有Hadoop用户访问权限，如何获取用户拥有访问权限的队列列表？我可以从管理员端看到它通常是如何完成的，但是用户端呢？我检查了一下yarn API，但什么也没找到。Ranger -用户通常没有足够的权限来获取有关其自身的更多详细信息。唯一的方法是暴力强制集群中的所有队列，直到你找到一个可访问的队列？
浏览 19提问于2019-05-15得票数 0
2回答
纱工不过关“状态:接受”
、、、、
提前感谢您的帮助。我正在使用提供的Hadoop示例运行一个纱线作业。工作永远不会完成，并停留在“接受”状态。看一看打印出来的内容，似乎这份工作正在等待完成--而客户则在不断地探索工作状态。
示例作业(来自Hadoop2.6.0)：
spark-submit --master yarn-client --driver-memory 4g --executor-memory 2g --executor-cores 4 --class org.apache.spark.examples.SparkPi /home/john/spark/spark-1.6.1-bin-hadoop2.6/lib/s
浏览 0提问于2016-07-27得票数 1
我在根队列下有4个队列，配置如下。
|-------------|-----------------|---------------------|-------------------|
| Queue Name | Capacity (in %) | Max Capacity (in %) | User Limit Factor |
|-------------|-----------------|---------------------|-------------------|
| default | 10 | 30
浏览 4提问于2019-06-07得票数 6
1回答
我有一个service应用程序，目前在两个服务器上有5或6个队列。
一般工作流程是：
服务器A
用户填充一些表
用户触发存储的proc，它将消息放入标头队列中，指示需要完成的工作。
代理从此头队列中读取，并创建可能要发送到服务器B的大量消息
服务器B
消息全部转到一个队列
在此队列中，对消息进行检查和解压缩，运行有效负载，并从与我们交互的另一组进程/表中收集响应。
创建响应消息并将其发送回服务器A
服务器A
响应消息转到一个特殊的队列，用于更新用户在顶部填充的表。
从启动器队列中读取结束对话消息，并用于更新另一个跟踪头记录进度的表(即处理的100条消息中有50条)。
当我们检测到头记录已被完全
浏览 0提问于2013-05-15得票数 7
回答已采纳
1回答
如何将来自组名称与队列名称不同的用户的所有作业映射到默认队列？
使用YARN.Scheduler.capity.queue-mappings，我们知道我们可以使用：
<name>yarn.scheduler.capacity.queue-mappings</name>
<value>u:user2:%primary_group</value>
<description>user2 is mapped to queue name same as primary group</description>
<
浏览 1提问于2020-12-04得票数 0
在我们运行在Yarn下的Hadoop集群中，我们遇到了一个问题，就是一些“更聪明”的人能够通过在pySpark木星笔记本中配置火花作业来消耗更多的资源，比如：
conf = (SparkConf()
.setAppName("name")
.setMaster("yarn-client")
.set("spark.executor.instances", "1000")
.set("spark.executor.memory", "64g
浏览 3提问于2016-10-12得票数 7
回答已采纳
我是星火公司的新手，我正在遵循这份文件，通过Livy 提交火花工作。
这是我的命令：
curl -k --user "username:password!" -v -H "Content-Type: application/json" -X POST -d '{ "file":"/test4spark/test4sparkhaha.jar", "className":"helloworld4spark.test" }' "https://xxx.azurehdinsight.
浏览 0提问于2019-11-06得票数 0
我需要在hadoop集群中禁用YARN应用程序的并行执行。现在，YARN具有默认设置，因此可以并行运行多个作业。我看不出这样做有什么好处，因为这两个作业的运行速度都比较慢。
我发现这个设置yarn.scheduler.capacity.maximum-applications限制了应用程序的最大数量，但它同时影响已提交和正在运行的应用程序(如文档中所述)。我希望将提交的应用程序保留在队列中，直到当前运行的应用程序未完成。如何做到这一点？
浏览 1提问于2017-03-29得票数 6
我正在使用Azure区块链服务(Azure blockchain Service )，我制作了一个逻辑应用程序，每当发生特定的触发器时，我都会调用智能契约中的函数。在创建逻辑应用程序时，它询问我要调用函数的参数。现在，我不想硬编码这个论点。
就像在我的网站上一样，有多个可用的产品，无论用户选择哪种产品，都应该以产品的名称作为参数来调用函数。
浏览 2提问于2019-08-17得票数 0
回答已采纳
我最近在研究分布式计算，发现Hadoop Yarn就是其中之一。所以我想，如果我只是建立Hadoop Yarn集群，那么每个应用程序都将分布式运行。
但现在有人告诉我，HADOOP Yarn本身不能做任何事情，需要其他东西，如mapreduce、spark和hbase。
如果这是正确的，那么这是否意味着Yarn只能运行有限的任务？或者我可以将Yarn的分布式计算应用到我想要的所有应用程序中？
浏览 0提问于2020-02-05得票数 0
1回答
yarn.scheduler.capacity.root.queues和hive.server2.tez.default.queues有什么区别？
浏览 3提问于2016-12-26得票数 1
回答已采纳
我有一个Hortonworks(HDP 2.4.2)集群，它有三个数据节点(node1、node2和node3)。我想检查钟表中的节点标记功能。为此，我创建了一个节点标签(X)，并将其映射到一个数据节点node1。因此，现在有两个分区：
默认分区-包含node2和node3
分区x-包含node1
稍后，我创建了一个名为"protegrity*“的队列，并将其映射到节点标签X。
现在，当我运行任何mapreduce作业时，这个作业正在被执行，但是在我没想到的默认分区的“Pro完整性*队列”上。它应该在node1上的队列上执行。请参考所附的调度程序屏幕截图。
执行的任务是
浏览 1提问于2016-09-16得票数 0
1回答
我正在尝试启动本地0x-api(https://github.com/0xProject/0x-api)。我首先尝试在.env中启动api设置Infura。一切都很顺利。但我想用我的本地以太节点与Geth，而不是因弗拉。所以我使用--http.port 3334运行Geth，因为端口8545已经被sudo docker-compose up之后的一个码头映像所使用(据我理解)。
📷
运行Geth之后，我可以执行请求。
📷
我把我在.env的D8改成了http://127.0.0.1:3334。之后，我做yarn、yarn build、sudo docker-compose up、yarn db
浏览 0提问于2021-10-20得票数 0
在调试TEZ/SPARK/MR作业时，我可以在YARN UI中看到以下作业详细信息。 ? 有没有人可以帮我处理队列的%和集群统计的%，因为它显示了1815%的使用率？
浏览 61提问于2021-02-10得票数 0
2回答
node.js中的作业队列
、、、、
我在node.js中寻找一个作业队列管理器，它可以由php调用。这是一个web应用程序，它需要发送电子邮件，创建pdf文件等等，我想要执行的php进程异步。
这一进程的实例：
用户请求php页面
Php调用作业队列管理器并添加一个任务。
任务在php的node.js中异步执行，最好是在稍微安静一些时执行。
任务是执行php脚本。
为什么这个“复杂”系统？
我们用php (Zend Framework)编写我们所有的web应用程序。
我们想开始学习node.js
我们需要一个异步进程(快速响应！)
“真正的”任务也应该是php脚本，利用已经编写好的php类
浏览 1提问于2011-09-12得票数 5
回答已采纳
我们有一个hadoop集群，配置了Cloudera CDH 5.4.2发行版和Yarn公平调度器，用于调度和管理资源。我们总共有18个工作节点，总共有963 We主内存和288个vcore。
现在的问题是，无论应用程序的资源需求有多小，我一次只能运行一个应用程序。例如，下面是动态资源池状态：
Status YARN使用288vcore和942vcore的内存。资源池使用情况
此表和右侧的图表仅包含来自纱线的指标。资源池名称已分配内存已分配VCores已分配容器挂起容器
根0 B 0 0 0
user1 0 B 0 0 1
默认0 B 0 0 0
user2 22 GiB 11 11 1
对于用
浏览 8提问于2016-01-29得票数 2
1回答
我正在寻求您的帮助，请在Hadoop纱线公平调度。我的理解如下：
默认的纱线设置允许当应用程序不显式地使用队列时，它将使用用户名动态创建一个队列。
Q1)我的理解正确吗？
Q2)如果是，那么这个在飞行队列中的权重是多少？
yarn.scheduler.fair.allow-undeclared-pools如果设置为true，则在未指定池名称的情况下，公平排定程序将使用用户名作为默认池名称。当设置为false时，所有应用程序都在名为default的共享池中运行。默认值：true。
yarn.scheduler.fair.user-as-default-queue当设置为true时，在应用程序中指
浏览 1提问于2018-03-06得票数 0
1回答
我正在尝试在Amazon中设置容量调度程序，除了默认队列之外，还有两个队列。我已经成功地创建了队列user1和user2，但是当我使用submit在一个新队列上运行脚本时，它将被接受。奇怪的是，我仍然可以将应用程序提交到默认队列中，并且一切都按预期工作。
目前使用默认调度程序，但我尝试使用具有相同结果的主导调度程序。
我看过这些日志，它们看上去都不错。有时我会得到一个错误：
2019-12-04 19:18:28,888 WARN org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue (Resour
浏览 0提问于2019-12-09得票数 1
我刚刚在Linux中创建了一个新的AWS实例。而且，我在上面安装了pyspark。它有spark 1.6。
我正在和yarn一起运行pyspark。当我在终端中执行命令pyspark时，它最初会启动，但随后我收到消息：
dd/mm/YY HH:MM:SS INFO yarn.Client: Application report for application_XXXXXXXXXXX_XXXX (state: ACCEPTED)
.....and，那么这将永远持续下去。
所以，我检查了一下yarn，看看是否还有其他东西在运行：
yarn application -list
并且只显示我的应用程序
浏览 0提问于2017-03-18得票数 2
1回答
yarn中的capacity-scheduler是否在同一队列中为同一用户并行运行应用程序？
例如:如果我们在两个具有相同用户的终端上有两个hive CLI，并且在这两个终端上启动了相同的查询，那么它们是并行还是顺序地在默认队列上执行。
目前，UI显示1个正在运行，1个处于挂起状态：
有没有一种并行运行的方法？
浏览 0提问于2016-03-04得票数 0
1回答
我使用Hadoop2.4.1和Yarn处理猪作业。我的一些养猪工作是高度优先的(它们应该在20分钟内运行)。我正在寻找猪或纱线的选择，为我的优先工作保留纱线容器。有办法吗？
现在，我总是依赖于其他正在运行的作业，根据作业的大小，我的优先任务可以等待几个小时。
谢谢你，罗曼
浏览 2提问于2014-08-05得票数 0
回答已采纳
出于某些原因，有时集群似乎行为不端，因为我突然发现使用基于Hadoop的HDInsight集群的YARN jobs.We的数量激增。我们运行Azure数据工厂作业基本上是为了执行一些指向这个集群的hive脚本。一般来说，在任何给定时间，纱线应用程序的平均数量约为50个正在运行，40-50个处于等待状态。无使用此集群执行即席查询。但是每隔几天我们就会注意到一次奇怪的事情。突然之间，Yarn应用程序的数量开始增加，既有运行的，也有挂起的，尤其是挂起的应用程序。因此，对于运行Yarn应用程序，这个数字超过100，而对于挂起的应用程序，这个数字超过400，有时甚至是500+。我们有一个脚本，一个接一个
浏览 0提问于2016-07-29得票数 1
1回答
这里的AMQ 5.7。我继承了一组非常古老的Java应用程序，这些应用程序使用ActiveMQ (AMQ)代理彼此之间以及与此生态系统之外的客户端进行通信。因此，AMQ经纪人有几百人(！)队列上有数百个JMS客户机，它们生活在几十个不同的服务器(每个服务器)上，向这些队列发布消息并使用这些消息。这是老鼠窝。
我有一个队列，我们称之为shouldBeDead，它应该不会接收任何消息。它在某个时候被废弃了，再也不应该向队列发送消息了。然而，它周期性地被来自某物/某地的数百条消息轰炸。它上没有使用者(这是正确的；我的Java应用程序套件不再在代码中的任何地方使用它，所以队列上没有任何东西监听它来使用
浏览 0提问于2018-10-17得票数 0
回答已采纳
2回答
我在纱线中使用容量调度器，我发现用户可以通过使用属性“纱线最小用户限制百分比”来获得队列中的最小百分比。我将这个属性设置为20个，而我所期望的是资源将被平均分配到5个用户，根据如下：
但当用户开始运行应用程序时，情况并非如此。例如，如果我在队列空闲时运行一个应用程序，纱线将为该应用程序分配所有请求的资源。当另一个用户随后运行相同的应用程序时，纱线分配的资源与队列中剩余的资源一样多，队列就会被填满。此时，我认为使用该属性，第二个用户将获得50%的队列，而第一个用户的资源将更少。
如果有第三个用户进来，我希望他/她能得到33%的队列，但是由于没有可用的资源，left甚至没有安排应用程序的时间。
浏览 3提问于2017-08-13得票数 2
2回答
当我在yarn集群上运行spark作业时，应用程序在队列中运行。那么，如何在多个应用程序中并行运行呢？
浏览 0提问于2018-08-31得票数 0
我在同一个EMR集群中运行了几个流火花作业和批处理火花作业。最近，一批火花作业编程错误，消耗了大量内存。这导致主节点不响应和所有其它火花作业卡住，这意味着整个EMR集群已经基本关闭。
有什么方法可以限制火花作业可以消耗的最大内存吗？如果火花作业消耗了太多内存，它可能会失败。然而，我们不希望整个电子病历集群下降。
火花作业在客户端模式下运行，火花提交cmd如下所示。
spark-submit --driver-memory 2G --num-executors 1 --executor-memory 2G --executor-cores 1 --class test.class s3://te
浏览 5提问于2021-07-13得票数 0
回答已采纳
例如，当我向yarn集群提交第一个作业时，该作业正在运行，然后提交第二个作业，在第一个作业成功或失败之前，第二个作业状态永远不会运行。
有没有办法在集群模式下在纱线上并行运行多个spark作业？
浏览 0提问于2017-10-09得票数 2
1回答
我使用windows 10和节点管理器也没有正确启动。我看到以下错误：
Resource manager is not connecting and failing due to :
2021-07-07 11:01:52,473 ERROR delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2021-07-07 11:01:52,493 INFO handler.ContextHandle
浏览 11提问于2021-07-07得票数 1
回答已采纳
1回答
我试着用伪分布的形式设置Hadoop。因此，我编辑了建议的xml文件。在yarn-site.xml文件中，我必须插入：
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
"mapreduce_shuffle“选项是什么？
浏览 0提问于2017-12-31得票数 2
2回答
Hadoop资源管理
、、、、
我有一个12节点的集群，我运行的是yarn架构。似乎我的节点大部分时间都很忙，很多时候作业都失败了。如何检查任何时间点的资源使用情况？还有什么方法可以为用户设置有限的资源，例如:如果用户提交了一个作业，那么应该只给他25 of的内存和12个内核。
浏览 0提问于2016-01-05得票数 1
1回答
多列队列？
、、
我正在寻找一个库或服务，它允许我推送数据，而且每次都会有其他几个列。现在，我正在使用IronMQ将json推到队列中，然后解析json并获取属性。但是，我想知道是否有一个队列库或服务允许我将所有属性推送到单独的列中，以便以后我可以在队列中执行一个SQL查询。
我考虑过PythonandSqlite3来做到这一点(与Amazon或IronMQ相比有什么不同)，这将使这件事变得非常容易。
浏览 7提问于2014-10-21得票数 1
回答已采纳
我们有一个由Yarn管理并运行hadoop的5节点群集
1个主名称节点8个vcore和24 and内存
4个数据节点，每个节点8个vcore和24 and内存
当我查看下图中突出显示的ui上的Yarn配置时，它仅使用16 it和6个vcore
我们的应用程序使用了所有的16 2gb内存，所以想要增加内存，因为它是可用的(24 -2 2gb的操作系统，因此可用是22 2gb)
我需要在哪里配置这个22 do而不是16 do？
研究发现yarn-site.xml可能是合适的地方，因此继续更新并重新启动yarn，但它仍然显示为16 it
由于我们是Yarn的新手，如果社区中的任何专家能提供
浏览 1提问于2017-02-03得票数 2
我有一个自定义用户表，如下所示：
[Id] [int] IDENTITY(1,1) NOT NULL,
[Email] [nvarchar](max) NULL,
[Username] [nvarchar](max) NULL,
[UserFirstName] [nvarchar](max) NULL,
[UserLastName] [nvarchar](max) NULL,
[DateOfBirth] [datetime2](7) NOT NULL,
[UserRole] [nvarchar](max) NULL,
[IsConfirmed] [bit] NOT NULL,
[IsDelet
浏览 3提问于2022-06-03得票数 1
1回答
首先，我将描述当前的状况：
服务器由几个WCF服务组成，托管在不同机器上的一个或多个win服务中。
服务负责接收来自不同设备的数据。与设备的通信是使用套接字实现的。服务实例模式-单例。数据代理服务--负责按请求保存数据和共享数据。实例模式-单例。配置服务--负责更改配置数据库并使用管理控制台(WPF应用程序，如SSMS)。处理来自控制台、订阅服务器管理等的连接。实例模式-单例。客户端访问服务--与上面的客户端管理完全相同，但也通知客户端新的数据，类似于服务总线的外观。又是单身。身份管理服务-检查权限并返回结果。辛格尔顿。
所有这些服务都与NServiceBus相连，我非常喜欢它目前的工作方式。
浏览 0提问于2009-12-18得票数 0
回答已采纳
场景:我们有两个Ubuntu服务器，每个服务器都有一个用户。用户帐户有一些绑定到主机IP地址和特定端口的特定软件(我们不能更改端口号，因为它是一个标准)。
我们有多个用户，他们想要使用这个软件。现在，每个人都在使用相同的帐户(通过SSH)，我们在运行它之前检查其他人是否使用它，这样就没有冲突了。
我想知道处理这种情况的最好方法是什么？我们可以有多个用户，但这仍然不能解决端口正在使用的问题。当我们登录时，如果有一种方法来判断是否有人在使用这台机器，那就太好了。
任何想法都很感谢，谢谢！
浏览 0提问于2023-02-18得票数 0
我们有Hadoop集群(带有ambari的HDP 2.6.5集群，有25台数据节点机器) 我们正在使用spark流媒体应用程序(在Hortonworks 2.6.x上运行的spark 2.1) 目前的情况是，spark streaming应用程序在所有数据节点机器上运行 但是现在我们希望spark streaming应用程序只在第一台10 datanodes机器上运行 因此，其他最后一台15 datanodes机器将受到限制，并且spark应用程序只能在第一台10 datanodes机器上运行 这种情况可以通过ambary功能或其他方法来完成吗？ 例如，我们找到了- https://docs
浏览 14提问于2020-07-01得票数 0
回答已采纳
1回答
目前我正在使用默认的Yarn调度程序，但我想做一些类似的事情-
Run Yarn using the default scheduler
If (number of jobs in queue > X) {
Change the Yarn scheduler to FIFO
}
通过代码可以做到这一点吗？
请注意，我使用Yarn作为RM在aws EMR集群上运行Spark作业。
浏览 0提问于2017-04-14得票数 0
1回答
我的FileController中有以下方法： [HttpPost]
[NoAsyncTimeout]
public ActionResult FileGenerator(FileViewModel model) {
...
_fileGenerator.CreateFile(model.Id,model.location);
...
} CreateFile方法定义如下： public void CreateFile(int residentId, string location){
...
var caller = new AsyncMethodCaller(GenerateFil
浏览 36提问于2019-10-02得票数 0
1回答
我使用一个网格引擎集群来运行一些OpenCV代码。代码在本地执行时运行良好，但提交到网格时不起作用。我在这里提取了一个最小的例子。
在目录~/code/中，我有一个包含以下代码的文件test.cpp：
#include <opencv2/core.hpp>
#include <iterator>
#include <string>
#include <sys/types.h>
#include <sys/stat.h>
using namespace cv;
using namespace std;
int main(int ac
浏览 2提问于2014-10-10得票数 1
回答已采纳
看着Google Cloud Build的yarn构建器的源代码，我想知道为什么建议使用构建器而不是指定入口点。
基本上
steps
- name: 'gcr.io/cloud-builders/yarn'
args:
- install
vs
steps:
- name: node:10
entrypoint: yarn
args:
- install
是不是因为云构建器是在Google cloud Container Registry注册的，从Google Cloud build中读取更快？
浏览 18提问于2020-02-16得票数 1
回答已采纳
此路径在Yarn 1中的以下命令中运行node_modules/webpack/bin/webpack.js .
yarn --cwd packages/mypackage/ node --trace-deprecation node_modules/webpack/bin/webpack.js --env env=dev
我搬到了带有即插即用(PNP)和工作区的Yarn2(Berry2)，所以没有一个node_modules文件夹(我需要的模块是存储在.yarn/cache/webpack-npm-5.64.0-a89fa9e176-9d32a61d98.zip的一个压缩文件。
这是我试过的
浏览 7提问于2022-03-11得票数 1
回答已采纳
我目前正在学习如何使用Github操作，我遇到了一个身份验证问题，在这个问题上，Github能够收回我的用户名，但不能收回我的密码，这里是错误(在部署到GH页面时发生的错误)：
create mode 100644 static/media/flow.edad2ac1.svg
create mode 100644 static/media/plugin.d494b228.svg
create mode 100644 static/media/repo.6d496322.svg
create mode 100644 static/media/stackalt.dba9fbb3.svg
fatal
浏览 16提问于2022-06-24得票数 4
回答已采纳
1回答
我们正在开发一个在亚马逊网络服务上的应用编程接口，使用EC2，SQS和S3的组合。我们的前端服务器驻留在EC2上，并且我们在S3上存储所有用户提交的数据。我们不想向最终用户公开我们的S3存储，所以所有提交最初都要通过EC2。我们的最终用户所知道的就是我们的API端点，他们向这些端点发布数据(通常是原始文本，目前最大可达1MB )，并从中获取结果。
然而，随着我们获得更多的用户和数据提交变得更大，我们怀疑这个模型不太可能扩展。因此，我们一直在寻找管理用户输入的替代方法。其中最吸引人的似乎是，它支持，并允许最终用户直接上传到S3，而不必最初缓冲到EC2。但我们开发的是API而不是web应用程序，而
浏览 1提问于2013-05-02得票数 3
1回答
我正在创建第一个使用Hadoop的java应用程序。我在笔记本电脑上使用eclipse访问远程HDFS集群。
我想从一个简单的例子开始，它列出了特定HDFS文件夹中的所有文件。
如何配置远程HDFS框的主机和端口名称？
Configuration conf = new Configuration();
conf.set("fs.default.name","hdfs://hostname:9000/“);
FileSystem fs = FileSystem.get(conf);
我被拒绝了
我做错了什么？
更新0001
我尝试过执行这个java代码。
Syst
浏览 2提问于2015-02-02得票数 2
回答已采纳
我定期通过yarn安排spark应用程序，并使用yarn web UI来跟踪这些应用程序。但是，我还不能弄清楚applications表中的这一列是指什么： ? 我在网上找不到任何关于它的信息。有没有人知道"% of Queue“在这个上下文中是什么意思？
浏览 179提问于2020-11-03得票数 3
回答已采纳
最近，我尝试用Yarn安装我的Node包。它工作得很好，而且比NPM快得多。Yarn自动生成yarn.lock。我们已经有了NPM收缩包(npm-shrinkwrap.json)。
它们之间有什么不同吗？yarn.lock比npm-shenshwrap.json有优势吗？
浏览 0提问于2016-10-15得票数 58
回答已采纳
1回答
Pyspark Shell未在伪分布式模式下启动。然而，独立版本正在启动。
当我输入以下命令时，我可以运行spark
$pyspark
和
$ pyspark --master local[2]
但不是当我运行这个的时候-
$ pyspark --master yarn-client
我已经在伪分布式模式下安装了hadoop，并启动了dfs.sh和yarn.sh。它们看起来运行正常
以下是失败的Pyspark应用程序的日志-
$ yarn logs -applicationId application_1487575592818_000117/02/19 23:28:13 INFO clien
浏览 2提问于2017-02-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
