我们正在为HDInsight做POC。我对这项技术非常陌生。我们正在做的是,尝试向Azure发送一些数据,并编写一些Hive查询。我们能够实现第一部分:我们可以使用AzCopy将一些测试数据推送到Azure blob。(我知道有Azure桌子和Azure队列)。但是对于POC来说,Azure blob很好。
我们可以使用与这个blob对话。但是,我们也希望检查HDinsight及其MapReduce功能。
在这种背景下,以下是几个问题:
1. Do I need to copy data from Azure Blob to Anywhere else for writing
Hiv
我试图让我的外部mysql被用作Ambari的母公司转移点。以下是我遵循的步骤 - Started a HDInsight in Azure
- create a mysql database
- create a database 'metastore' and a user 'hive' in mysql
- source 'Ambari-DDL-AzureDB-CREATE.sql' to create schema in metastore db
- changed the mysql connection in hive config
我已经下载了Hortonworks数据平台2.3.0并在Centos7上安装了它。安装是成功的。
启动服务器时,将显示以下消息:
[root@sparkperf-5360 apps]# ambari-server start
Using python /usr/bin/python2.7
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Server PID at
我正在用HDP 2.6安装钻头,在安装过程中,屏幕在选择从代理时停留在一个屏幕上。
在日志文件中:
java.lang.ClassCastException: java.util.LinkedHashSet cannot be cast to java.util.List
at org.apache.ambari.server.controller.internal.StackAdvisorResourceProvider.prepareStackAdvisorRequest(StackAdvisorResourceProvider.java:110)
at org.apach
我在Hive中创建了一个自定义的UDF,它在Hive命令行中进行了测试,运行良好。现在我有了UDF的jar文件,我需要做些什么,以便用户能够创建指向它的临时函数?理想情况下,从蜂巢的命令提示符中,我会这样做:-
hive> add jar myudf.jar;
Added [myudf.jar] to class path
Added resources: [myudf.jar]
hive> create temporary function foo as 'mypackage.CustomUDF';
在此之后,我才能正确地使用这个函数。
但是我不想每次执行函数时都
我正在尝试使用Apache Ambari创建一个节点集群。在这些步骤中,在步骤3中,我们需要提供要使用FQDN (完全限定域名)添加到群集的主机列表
为了获得FQDN,我使用
$ hostname -f
Ubuntu终端的命令。以sridhar25的形式获得结果
在创建群集期间,将我的完全限定域名指定为sridhar25 1:
但在选择下一步后,我得到注册失败。
Registering with the Server.....
Registration with the Server Failed
我的日志文件显示
04 Mar 2016 11:05:05,268 ERROR [qtp-cl
我在试着用。我导入了清单文件,并且能够运行azure hdinsight -h和azure account list (这为我提供了良好的凭据)。
但是,我无法使用列出我的HDInsight集群
azure hdinsight cluster list
这将返回以下错误:
- Getting HDInsight serverserror: tunneling socket could not be established, cause=1500:error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol:opens