我正在使用星火对一些数据做一些计算,然后推到蜂巢。为1.2,包括Hive2.1。Hive中的Merge命令仅在2.2版本之前支持。因此,我必须对dataproc集群使用预览版本。当我对dataproc集群使用1.2版本时,我可以创建集群,而不会出现任何问题。在使用预览版本时,我得到了“未能打开Cloud ”这个错误。初始化脚本是。以前有没有人遇到过这个问题?
hive-metastore.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sy
我已经编写了一个在现有HDInsight集群中运行良好的配置单元脚本。但是当我在按需集群中通过Azure数据工厂实例化脚本时,我得到了以下错误: Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2214)
at org.apache.hadoop.hive.ql.plan.PartitionDe
我试图从Spark应用程序连接到Hive-metastore,但每次尝试连接时都会卡住,并因超时而崩溃: INFO metastore:376 - Trying to connect to metastore with URI thrift://hive-metastore:9083
WARN metastore:444 - set_ugi() not successful, Likely cause: new client talking to old server. Continuing without it.
org.apache.thrift.transport.TTranspo
下面是我的hive/conf/hive-site.xml:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is stored in a MySQL server</desc
无法访问DataProc集群的namenode中的mysql。
********@cluster-***-m:/etc/hive/conf$ mysql -u root -p
Enter password:
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)**
我可以使用Sqoop成功地执行从MySQL到HDFS的增量导入,方法是
sqoop job -create JOBNAME ... --incremental append --check-column id --last-value LAST
sqoop job -exec JOBNAME
以日志消息结束,如下所示
INFO tool.ImportTool: Saving incremental import state to the metastore
INFO tool.ImportTool: Updated data for job: JOBNAME
检查作业会发现incrementa