如何在bash脚本中将hive的结果存储到本地的文本文件中？
在bash脚本中将Hive的结果存储到本地的文本文件中，可以通过以下步骤实现：
- 首先，需要在bash脚本中使用Hive命令执行相应的查询语句，并将结果保存到一个临时表中。可以使用以下命令执行Hive查询：
- 首先，需要在bash脚本中使用Hive命令执行相应的查询语句，并将结果保存到一个临时表中。可以使用以下命令执行Hive查询：
- 其中，
/path/to/local/directory是本地目录的路径，用于存储Hive查询结果。 - 接下来，需要将Hive查询结果从HDFS（Hadoop分布式文件系统）中复制到本地目录。可以使用以下命令将HDFS中的文件复制到本地目录：
- 接下来，需要将Hive查询结果从HDFS（Hadoop分布式文件系统）中复制到本地目录。可以使用以下命令将HDFS中的文件复制到本地目录：
- 其中，
/path/to/hdfs/file是HDFS中查询结果文件的路径，/path/to/local/directory是本地目录的路径。 - 最后，可以在bash脚本中对本地目录中的文件进行进一步处理，例如重命名、移动或其他操作。
这样，就可以将Hive的结果存储到本地的文本文件中了。
请注意，以上步骤中的路径和文件名需要根据实际情况进行替换。此外，还需要确保bash脚本所在的环境中已经安装了Hive和Hadoop，并且具有相应的权限来执行Hive查询和操作HDFS。
相关·内容
1回答
希望将文件从HDFS复制到本地计算机
bigdata
使用以下命令试图使用hdfs将文件从copyToLocal复制到本地机器：
Hadoop fs -copyToLocal remote path(hdfs file) destinationPath (my local path)
但我得到了以下错误：
没有这样的文件或目录:错误
请帮我处理这个。
浏览 3提问于2019-12-24得票数 2
2回答
我试图从一个copyToLocal文件中执行一个“.hql”操作，如下所示：
dfs -copyToLocal hdfs://nameservice1/HDFS_FOLDER1/HDFS_FOLDER2/file_name.dat /LOCAL_FOLDER1/LOCAL_FOLDER2/;
但我得到了下面提到的例外：
Error: Error while processing statement: null (state=,code=1)
org.apache.hive.service.cli.HiveSQLException: Error while processing stat
浏览 2提问于2016-12-19得票数 0
回答已采纳
2回答
Presto查询配置单元表异常:无法列出目录
hadoop、hive、presto
我是新来的。我有两台用于presto 0.160的机器，一台是协调员，另一台是工人。我想查询hive中的表。现在我可以"show tables"，"desc tablename"，但是当我想"select * from tablename“时，出现了异常：”查询目录失败:无法列出目录: hdfs://cdh-test/user/hive/warehouse/employee_hive“”。
presto> desc hive.default.employee_hive;
Column | Type | Comment
------
浏览 14提问于2017-07-28得票数 0
2回答
hadoop fs -get不在ubuntu中工作
hadoop、get
我在Ubuntu中创建了单节点hadoop集群。
我试图将文件从hdfs复制到本地fs，但当我发出命令时
hduser@ubuntu:/usr/local/hadoop/bin$ hadoop fs -get /user/hduser/Employee /home/output/
我收到一条消息
get: No such file or directory
怎么解决这个问题？
浏览 2提问于2014-07-28得票数 0
回答已采纳
2回答
具有数百万条记录插入的Hadoop后端
hadoop、hive、hiveql
我是hadoop的新手，有人能建议我如何上传数百万条记录到hadoop吗？我能用蜂箱做这件事吗?我在哪里能看到我的hadoop记录？
到目前为止，我一直使用hive在hadoop上创建数据库，并使用localhost 50070访问它。但是我无法将数据从csv文件从终端加载到hadoop。因为它给了我错误：
失败:语义分析错误:第2:0行无效路径‘/用户/本地/hadoop/共享/hadoop/hdfs’：没有匹配路径hdfs://localhost:54310/usr/local/hadoop/share/hadoop/hdfs的文件
有人能建议我解决这个问题吗？
浏览 0提问于2015-09-29得票数 1
回答已采纳
2回答
不能输出Hadoop命令
java、hadoop、ssh、pipe、dd
我想运行以下命令：
hadoop fs -copyToLocal FILE_IN_HDFS | ssh REMOTE_HOST "dd of=TARGET_FILE"
但是，当我尝试时，它所做的就是在目标主机上创建一个空文件并将其复制到本地主驱动器，而不是将其复制到远程位置。
$ hadoop fs -copyToLocal FILE_IN_HDFS FILE_IN_HDFS ssh REMOTE_HOST "dd of=test.jar“
0+0 Datens tze ein
0+0 Datens tze aus
0 Bytes (0 B) kopiert，1 1
浏览 3提问于2013-02-18得票数 1
回答已采纳
8回答
有没有什么方法可以覆盖现有的文件，同时从HDFS中使用：
hadoop fs -copyToLocal <HDFS PATH> <local path>
浏览 1提问于2013-05-08得票数 52
2回答
有没有办法列出Hadoop中的文件，并且只将文件名存储到本地而不是实际的文件本身？
file、hadoop、hdfs
有没有办法列出Hadoop中的文件，并且只将文件名存储到本地？
示例：
我有一个文件india_20210517_20210523.csv.我目前正在使用copytolocal命令将文件从hdfs复制到本地，但是将文件复制到本地是很费时的，因为文件是巨大的。我所需要的只是存储在.txt文件中的文件的名称，以便使用bash脚本执行剪切操作。
请帮帮我
浏览 1提问于2021-06-01得票数 0
2回答
Oozie shell脚本操作
bash、hadoop、hive、oozie
我正在探索Oozie用于管理Hadoop工作流的功能。我正在尝试设置一个shell操作，它调用一些hive命令。我的shell脚本hive.sh如下所示：
#!/bin/bash
hive -f hivescript
其中hive脚本(已经独立测试)创建了一些表，等等。我的问题是在哪里保存hivescript，然后如何从shell脚本引用它。
我尝试了两种方法，第一种是使用本地路径，比如hive -f /local/path/to/file，另一种是使用相对路径hive -f hivescript，在这种情况下，我将hivescript保存在oozie应用程序路径目录中(与hive.sh和wo
浏览 6提问于2014-03-14得票数 5
2回答
为什么会说"-bash: cd: hadoop: Not a directory"？
bash、hadoop、installation
我正在尝试按照教程运行"hadoop wordcount in python“。正如在本教程中一样，当我运行此命令/usr/local/hadoop/bin/hadoop fs -put ~/count_of_monte_cristo.txt /input时，它显示为-bash: cd: hadoop: Not a directory。
在教程中，它说我们需要通过在HDFS中创建一个目录来放置文本文件。我的问题是，如果/bin/hadoop不是可访问的，我应该将文本文件放在哪里进行分析？有什么选择吗？或者，我是不是做错了什么？
浏览 0提问于2018-03-09得票数 1
1回答
无法将查询结果移动到文件夹。
hive、bigdata、hiveql
我在单元格中编写了一个select查询，以便将数据移动到特定的文件夹。但我搞错了。请帮帮忙。
将数据移动到本地目录/Dataproviders/DataSurgery/Order/out/jul24msngtxn/negtxns失败，异常无法将源hdfs://mycluster/tmp/hive/sshuser/253d3089-fcc0-4656-82ca-ccbe893196ed/hive_2018-08-16_06-58-29_220_388527949811395742-1/-mr-10000移动到目标/Dataproviders/DataSurgery/Order/out/jul2
浏览 0提问于2018-08-16得票数 0
3回答
hadoop fs -text vs hadoop fs -cat vs hadoop fs -get
file、hadoop、hdfs
我相信下面所有的命令都可以用来将hdfs文件复制到本地文件系统。有什么不同/情景利弊。( Hadoop新手在这里)。
hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -get /hdfs_dir/* >> /local_dir/
我的经验法则是避免对大文件使用'text‘和'cat’。(我使用它来复制我的MR作业的输出，在我的用例中通常较小)。
浏览 0提问于2014-09-19得票数 2
2回答
Apache Hive未正确返回YARN应用程序结果
hadoop、hive、hadoop-yarn、apache-tez
我正在亚马逊网络服务EC2上运行一个从头开始的集群。我有一个用S3上的数据定义的外部表(分区的)。我可以通过一条简单的select *语句查询这个表并将结果接收到控制台：
hive> set hive.execution.engine=tez;
hive> select * from external_table where partition_1='1' and partition_2='2';
<correct results returned>
运行需要Tez的查询不会将结果返回到控制台：
hive> set hive.exe
浏览 64提问于2019-11-06得票数 3
回答已采纳
2回答
从在线数据集将数据加载到配置单元表中后获取空值
hadoop、hive、null、hdfs、hiveql
我正在尝试使用色调接口将在线数据集中的数据加载到我的hive表中，但得到的值为空值。
这是我的数据集：
下面是我的代码：
CREATE TABLE IF NOT EXISTS AISLES (aisles_id INT, aisles STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
tblproperties("skip.header.line.count"="1");
下面是我加载
浏览 0提问于2020-10-14得票数 0
1回答
星星之火:集群模式的CopyToLocal
python、apache-spark、pyspark、hdfs
我有一个PySpark脚本，其中的数据被处理，然后转换成CSV文件。由于最终的结果应该是ONE CSV文件可以通过WinSCP访问，所以我做了一些额外的处理，将工作节点上的CSV文件放在一起，并将它从HDFS中传输到WinSCP服务器(我认为它被称为边缘节点)。
from py4j.java_gateway import java_import
import os
YYMM = date[2:7].replace('-','')
# First, clean out both HDFS and local folder so
浏览 2提问于2022-05-04得票数 0
4回答
在hdfs中将配置单元表导出为csv
hadoop、hive
我知道在Hive中将表格保存为csv (或其他文本文件)时存在一个分隔符的已知问题。所以我想知道你们能不能帮我解决这个问题。
我有一个现有的表(表A)，我想将其以csv格式保存到hdfs。通过阅读其他回复，我认为我必须首先创建一个外部表(但我不确定整个过程会是什么样子)。
有人能帮上忙吗？
浏览 0提问于2015-05-14得票数 10
1回答
从HDFS检索作业结果
java、linux、hadoop
直接从HDFS读取文件，而不将其复制到本地文件系统。不过，我将结果复制到了本地文件系统。 hduser@ubuntu:/usr/local/hadoop$ mkdir /tmp/gutenberg-output bin/hadoop dfs -getmerge /user/hduser/gutenberg-output /tmp/gutenberg-output DEPRECATED:不推荐使用此脚本执行hdfs命令。请改用hdfs命令。 20/11/17 21:58:02警告util.NativeCodeLoader:无法为您的平台加载本机hadoop库...在适用的情况下使用内置java
浏览 16提问于2020-11-18得票数 1
1回答
加载到外部表的默认位置。
hive、hiveql
我在hive中创建了一个具有默认位置的外部表。
CREATE EXTERNAL TABLE `testtable`(
`id` int,
`name` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.i
浏览 0提问于2018-05-11得票数 0
回答已采纳
4回答
将配置单元查询导出到CSV
csv、hadoop、hive、export、hiveql
我正在尝试将查询从Hive导出到本地CSV。同样的错误仍然存在，如果有任何帮助，我们将不胜感激！
命令：
insert overwrite local directory '/path/to/directory'
row format delimited fields terminated by ',' select * from table limit 10;
错误：
errorMessage:org.apache.spark.sql.catalyst.parser.ParseException:
`missing 'TABLE' at &#
浏览 0提问于2017-12-25得票数 2
1回答
使用hadoop将文件从网格复制到本地时出现的问题
hadoop、hdfs、distributed-computing、hadoop-streaming
我正在尝试将一些文件从hadoop HDFS复制到本地。我使用了以下命令
hadoop fs -copyToLocal <hdfs path> <local path>
这个文件的大小只有80M。我以前运行过一个作业，将70MB大小的文件复制到本地时没有任何问题。但是，这一次我遇到了输入/输出错误
copyToLocal: Input/output error
有人能告诉我哪里出了问题吗？
浏览 3提问于2013-12-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
