首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Impala能在Alluxio上运行吗?

Impala能在Alluxio上运行吗?
EN

Stack Overflow用户
提问于 2018-09-28 10:21:18
回答 1查看 371关注 0票数 0

我曾尝试将Impala配置为在Alluxio上运行,但失败了。

以下是Impala的配置:

/etc/impala/conf/core-site.xml(http://www.alluxio.org/docs/1.6/en/Running-Hadoop-MapReduce-on-Alluxio.html)

代码语言:javascript
运行
复制
<configuration>
<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value>
  <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
</property>
<property>
  <name>fs.AbstractFileSystem.alluxio.impl</name>
  <value>alluxio.hadoop.AlluxioFileSystem</value>
  <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
</property>
</configuration>

/etc/impala/conf/hive-site.xml(http://www.alluxio.org/docs/1.6/en/Running-Hive-with-Alluxio.html)

代码语言:javascript
运行
复制
<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

然后我启动了Impala(impala-server,impala-catalogd,impala-state-store),但是在日志中我发现了:

代码语言:javascript
运行
复制
...impala-server.cc:282] Currently configured default file system: FileSystem. fs.defaultFS (alluxio://192.168.1.10:19998/) is not supported.
...impala-server.cc:285] Aborting Impala Server startup due to improper configuration. Impalad exiting.

我在必应上搜索了很多次,但没有找到任何机会。甚至连搜索关键词“impala on alluxio”的结果都很少。那么,impala可以运行在alluxio之上吗?任何建议都将不胜感激。

我的Impala版本: 2.10.0-cdh5.13.0 RELEASE,Alluxio版本: alluxio-1.8.0-hadoop-2.7

EN

回答 1

Stack Overflow用户

发布于 2018-10-02 02:19:24

你试过running Hive with external tables on Alluxio吗?不是将Alluxio设置为defaultFS,而是删除

代码语言:javascript
运行
复制
<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

并使用类似于下面的内容在Alluxio上创建一个表:

代码语言:javascript
运行
复制
hive> CREATE TABLE u_user (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master_hostname:port/table_path';

这可能有助于解决Impala的文件系统实现检查。此外,CDH 5.13及更低版本中也存在一个错误,该错误会阻止Impala读取Alluxio中的数据。您可能希望升级到CDH 5.14,该版本修复了该问题。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52547404

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档