Hive Load本地数据文件异常分析

Fayson

修改于 2018-04-01 21:00:42

4.4K0

修改于 2018-04-01 21:00:42

文章被收录于专栏：Hadoop实操Hadoop实操

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢

1.问题描述

使用beeline登录HiveServer2向my_table表Load本地数据文件时报如下异常：

执行命令：

LOAD DATA INPATH '/data/a.txt' OVERWRITE INTO TABLE my_table;

（可向右拖动）

异常信息如下：

Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path ''/data/a.txt'': No files matching path file:/data/a.txt (state=42000,code=40000)

（可向右拖动）

2.问题复现

1.测试表结构

CREATE TABLE my_table(
    KEY int, 
    value string
) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
STORED AS TEXTFILE;

（可向右拖动）

2.在cdh04服务的/data目录下添加测试数据

 [root@cdh04 data]# cat a.txt 
1,test
2,fayson
3,zhangsan
[root@cdh04 data]#

（可向右拖动）

3.使用beeline连接ip-172-31-5-190.fayson.com的HiveServer2服务

问题复现。

3.问题解决

1.在HiveServer2服务所在的ip-172-31-5-190.fayson.com服务器/data目录下创建a.txt数据文件

[root@ip-172-31-5-190 ~]# mkdir /data
[root@ip-172-31-5-190 ~]# vim /data/a.txt
1,test
2,fayson
3,zhangsan

（可向右拖动）

2.在cdh04服务器上使用beeline连接ip-172-31-5-190.fayson.com的HiveServer2服务，执行Load命令

[root@cdh04 ~]# beeline
beeline> !connect jdbc:hive2://ip-172-31-5-190.fayson.com:10000/
...
0: jdbc:hive2://ip-172-31-5-190.fayson.com:10> LOAD DATA LOCAL INPATH '/data/a.txt' OVERWRITE INTO TABLE my_table;
No rows affected (1.042 seconds)
0: jdbc:hive2://ip-172-31-5-190.fayson.com:10> select * from my_table;
+---------------+-----------------+--+
| my_table.key  | my_table.value  |
+---------------+-----------------+--+
| 1             | test            |
| 2             | fayson          |
| 3             | zhangsan        |
+---------------+-----------------+--+
3 rows selected (0.389 seconds)
0: jdbc:hive2://ip-172-31-5-190.fayson.com:10>

（可向右拖动）

数据Load成功。

4.总结

Hive使用LOAD LOCAL DATA时，数据文件必须与HiveServer2服务在同一个节点，否则会报“Invalid path '/path':No files matching path file”异常
可以使用LOAD DATA方式加载HDFS上的数据，就不会有这样的限制

这里Fayson还做了个测试，数据文件和HiveServer2在同一个节点了，但是将/data目录的权限修改为700和710时同样会报“Invalid path '/path': No files matchingpath file”，直至将/data目录权限修改为711时才成功将本地数据文件LOAD到Hive表中。