下面是我的hive/conf/hive-site.xml:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is stored in a MySQL server</desc
我试图通过mysql数据库中的sqoop将数据加载到已存在的hive表中。我指的是以下指南,以供参考:-
--hive-import已经成功地进行了试验和测试。
我创建了一个蜂巢表如下:-
create table sqoophive (id int, name string, location string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;
按要求加载数据。
我想使用--hive-overwrit
我在postgresql中创建了一个表:
create table retail_fact( id serial not null, name text);
我有客户表在hive和MySQL中,我想从他们加载数据到PostgreSQL retail_fact表使用Pentaho pdi (通过presto连接)。
另外,当我用Hive和MySQL中的数据加载表时,o希望id在Postgres中自动递增(用更简单的术语。我需要一个sql查询来做同样的事情)。
查询类似于以下内容:
insert into postgresql.rpt.order_fact(
select name from h
这是我们的设置-我们有一个配置单元,它使用另一台计算机上的MySQL作为中间存储。我可以启动Hive命令行shell并创建一个表并对其进行描述。但是,当我登录到另一台使用MySQL作为转储存储的计算机时,我无法在MySQL上看到配置单元表的详细信息。
例如,这里有hive命令-
hive> create table student(name STRING, id INT);
OK
Time taken: 7.464 seconds
hive> describe student;
OK
name string
id int
Time taken: 0.408 seco
我在mysql中有表测试,如下所示:
id name address
1 Km sky
2 hd heaven
3 Ab null
4 en null
现在我做了一个sqoop导入,如下所示
sqoop import--connect jdbc:mysql://XXXXXX/testing --username XXXX --password XXXX --query "select * from testing.test where \$CONDITIONS" --null-string '' --null-non-string '
我试图让我的外部mysql被用作Ambari的母公司转移点。以下是我遵循的步骤 - Started a HDInsight in Azure
- create a mysql database
- create a database 'metastore' and a user 'hive' in mysql
- source 'Ambari-DDL-AzureDB-CREATE.sql' to create schema in metastore db
- changed the mysql connection in hive config