加入域的HdInsight群集hdfs用户权限

文章/答案/技术大牛

发布

1回答

azure、hadoop、hdfs、azure-hdinsight、ambari

我已经创建了一个加入域的HdInsight集群。这在允许我的活动控制器中的用户使用其AD凭据登录到群集方面非常有效。我最初的希望是使用Ranger为不同的用户/组配置HDFS权限-然而，考虑到后端<em

浏览 16提问于2018-07-27得票数 1

回答已采纳

2回答

如何在HDInsight集群中编写用户帐户脚本

azure、azure-hdinsight、ambari

我正在自动创建HDInsight集群。我可以创建集群。但是，模板创建管理帐户。我们使用Ambari手动创建用户帐户，但希望将其自动化。我想我可以得到一个脚本作为模板的一部分。我需要一个脚本来以Ambari的方式创建用户帐户。我不知道从哪里开始。创建小组也是有帮助的。

浏览 2提问于2020-07-28得票数 0

回答已采纳

1回答

从hadoop访问azure文件

hadoop、azure-storage-files

我可以使用以下命令从hadoop访问azure存储blobs但我无法访问Azure文件。有人能建议如何像blobs一样从Hadoop访问azure存储文件吗？

浏览 4提问于2017-12-15得票数 0

1回答

如何使Visual Studio在向HDInsight集群提交配置单元查询时使用Ambari本地用户而不是默认的'admin‘

visual-studio、azure-hdinsight、ambari

这个问题是在Linux Hadoop ( HDInsight )集群的上下文中提出的。一旦我们通过Visual Studio登录到Azure帐户，基于添加到我们的帐户的Azure订阅，我们可以在服务器资源管理器中看到这些订阅中的HDInsight集群列表--然后我们可以直接向这些集群编写但是当我们这样做时，提交的配置单元查询使用默认的'admin‘作为用户。如果我已经创建了一些本地Ambari用户<

浏览 4提问于2020-07-02得票数 0

2回答

在Azure hdinsight集群上启用kerberos

azure、kerberos、azure-hdinsight、ambari

我已经部署了标准的(没有ESP的) Azure HDInsight集群版本3.6。我需要为这个hdinsight集群启用Kerberos身份验证。但我在安巴里行政处看不到Kerberos的选择。我的问题是1。为了启用kerberos，必须在启用企业安全包的情况下创建hdinsight集群吗? 2.在创建hdinsight集群之后是否可以启用esp？谢谢

浏览 2提问于2019-10-29得票数 1

回答已采纳

1回答

HDInsight -群集没有响应

hadoop、azure-hdinsight

我刚开始学习HDInsight，但是它不能正常工作。我该如何解决这个问题？我知道应用程序池标识中的一些问题，所以我尝试使用powershell更改它，但仍然不起作用。请帮帮我

浏览 0提问于2013-03-29得票数 1

回答已采纳

1回答

以编程方式运行HDInsight作业-群集节点上的.jar文件，而不是blob存储中

.net、azure、hadoop、azure-hdinsight

我跟随从.NET控制台应用程序向HDInsight提交mapreduce作业。hadoop-examples.jar",}; “wasb:/example/jars/hadoop-examples.jar”指的是我的Azure存储帐户中的一个jar，当我将该帐户连接到我的新HDInsight集群时，它会自动放在那里。超越示例(我想使用Mahout)……我是否可以引用已添加到

浏览 0提问于2014-02-12得票数 0

1回答

HDInsight HDFS完全限定URI

azure-hdinsight

在我看来，和应该可以使用如下命令访问HdInsight HDFS但我不确定在Azure之外是否有可能，也不确定使用哪个端口。我实际上是在尝试这样的东西：没有成功。我需要访问hdfs，连接wasb[s]://<containername&

浏览 1提问于2015-06-22得票数 1

5回答

如何有效地将大数据从数据中心移动到Azure Blob Storage，以便稍后通过HDInsight进行处理？

azure、hadoop、azure-blob-storage、azure-hdinsight

我研究过的选项是WebHDFS和Flume ( HDInsight目前似乎不支持后者)。将非结构化文件从数据中心传输到most Blob存储的最有效方法是什么？

浏览 0提问于2014-02-21得票数 0

2回答

增加hdinsight群集中hdfs的大小

hdfs、azure-storage、azure-hdinsight、azure-managed-disk

嗨，我在玩hdinsight。刚开始在hdinsight中创建集群，但无法理解HDFS是如何创建的。是使用数据节点的本地磁盘还是azure存储(因为我在创建集群时选择了它)我想增加集群中HDFS的大小，我该怎么做？是否应该将托管磁盘附加到每个datanode？提前谢谢。

浏览 4提问于2018-09-07得票数 0

3回答

hdfs fsck权限被拒绝

hadoop、hdfs、fsck

我运行这个命令行来解决HDFS FIles损坏的问题：我得到了这样的警告：FSCK

浏览 21提问于2016-10-24得票数 0

1回答

是否可以将HDInsight群集与本地AD集成？

azure、active-directory、azure-hdinsight、apache-ranger

我已经尝试了通过将HDInsight与Azure AD集成来加入域的HDInsight集群。我想知道，这种集成是否也可以支持内部AD？

浏览 2提问于2018-04-10得票数 1

1回答

如何使用Azure Storage Emulator for Hadoop？

hadoop、azure-storage、azure-hdinsight、azure-storage-emulator

我的计算机上安装了HDP群集以及Azure Storage Emulator，并且希望从hadoop作业访问Azure Storage Emulator。显然，这不是我的Hadoop集群的默认HDFS。我知道，如果我有HDInsight模拟器，我就能够访问它，因为它会自动设置配置。当我运行'hdfs dfs -ls wasb://127.0.0.1:10000/‘时，我得到以下错误信息 org.apache.hadoop.fs.a

浏览 2提问于2015-06-27得票数 0

2回答

授予HDInsight群集对ADL存储帐户的所有文件夹的访问权限

azure、azure-hdinsight、azure-data-lake、data-lake

我正在尝试将ADL存储(ADL)帐户添加到我的HDInsight群集。1)我已使用Azure Active Directory创建了一个服务主体( SP ) 2)我将此SP的访问权限授予了ADLS帐户的贡献者3)我现在正尝试使用此SP来创建HDInsight群集 SP似乎仍然没有正确的访问我想解决方案是手动授予SP访问Data Explorer中所需的每个文件夹的权限。然而，我<e

浏览 0提问于2017-12-10得票数 1

1回答

Azure DataFactory使用按需BadRequest集群的链接服务响应蜂巢活动

azure、hive、azure-data-factory、azure-hdinsight

基本上，我在试着测试这个随需应变的集群是如何升级并与Hive活动一起工作的。因此，只有一个活动在进行中。但是，当我尝试使用随需应变的HDInsight集群调试Hive活动时，Azure数据工厂显示了以下消息。，它会说：“对目标管道的操作失败:无效的链接服务引用。随需应变HDInsight集群的链接服务配置为Json格式的动态内容，而不是通过UI配置的。此Json的参考来自Microsoft docs

浏览 4提问于2021-07-05得票数 0

3回答

将整个HDFS从一个群集转移到另一个群集

hadoop、hive

在一个有5个节点的测试集群上，我的HDFS中存储了大量的hive表。数据应在70 Gb *3左右(复制)。不，我想将整个设置转移到具有更多节点的不同环境中。无法在两个群集之间建立网络连接。问题是，我没有太多的时间与新的集群，也没有可能测试与其他测试环境的传输。因此，我需要一个可靠的计划。:)如何在新群集上以最小的配置工作量传输配置单元设置？是否可以仅将5个节点<e

浏览 3提问于2013-01-11得票数 1

回答已采纳

1回答

用HDInsight创建外部数据源

azure-hdinsight、azure-sqldw

我正在尝试使用我的HDInsight集群创建一个外部数据源。在执行此操作时，我需要提供位置，如Hadoop、名称、节点、IP地址和端口号。那么，我在哪里可以找到HDInsight群集上这两者的名称、节点、IP地址、资源管理器位置、IP地址和端口号？我已经浏览了Core-site.xml & yarn-site.xml，没有找到HDInsight的任何东西。 - 3:创建外部数据源的语法。CREATE EXTERNAL DATA SOURCE M

浏览 4提问于2016-11-28得票数 0

2回答

使用SSH公钥的HDInsight集群如何对多个用户可见？

azure、ssh-keys、private-key、azure-hdinsight

我们在一个团队中，目前有两个不同的Microsoft Azure帐户。但是有一个问题看起来有点令人困惑。如果HDInsight集群是使用SSH公钥创建的，那么如何在多个用户之间共享它，因为私钥应该只在一台机器上可用。在这方面的任何见解都是非常感谢的。

浏览 2提问于2016-12-19得票数 2

1回答

azure运行的容器数量是多少？

azure、hive、azure-hdinsight

我已经创建了包含4个节点的HDinsight集群。然后，如果我检查节点详细信息，它会在所有节点中显示值为8的运行容器。如果我提交简单的作业，容器会将值2或1随机分配给任何工作节点。

浏览 2提问于2017-04-12得票数 0

1回答

Azure Databricks高并发+表访问控制+外部配置单元元存储+ ADLS直通

external、databricks、azure-data-lake、azure-databricks、hive-metastore

Databricks高并发群集与外部配置单元元存储+ ADLS直通+表访问控制不再受支持?‍♂️ 关于如何实现以下功能有什么想法吗？由于我们从HDInsight迁移到数据库，因此需要外部配置单元元存储。使用外部配置单元元存储显然有很多优点(其中之一是我们可以迁移到任何Hadoop集群，而不用担心元数据，这就是我们从HDInsight迁移到数据库的方式)。需要表访问控制才能授予对配置单元数据库的细粒度访问权限。我的用户需要对一些hive数据库进行读、读、

浏览 20提问于2019-11-05得票数 1

点击加载更多