如何在bash脚本中将hive的结果存储到本地的文本文件中？_如何在bash脚本中存储变量赋值到另一个变量所用的时间？ - 腾讯云开发者社区

bash、hive、text-files

我想从配置单元中的date列查询不同的日期，并将其存储到本地的文本文件中。hive -e "SELECT distinct(part_date) AS distinct_date FROM ${table_name} where partition_date between${start_date} and ${end_date}"; >> local/path/

浏览 12提问于2021-07-14得票数 0

3回答

如何将实际变量传递给bash中的文本文件？

linux、bash、shell、terminal

我正在创建一个脚本，它需要基于时间戳生成提交消息，以便在私有存储库中进行自动备份。 cd ${DIRECTORY} git push origin master时间戳$(date +%s)变量必须按文件中的情况打印如何在

浏览 5提问于2018-11-28得票数 2

回答已采纳

1回答

通过Oozie shell脚本运行配置单元查询时未找到表异常

bash、shell、hadoop、hive、oozie

我试图通过Oozie工作流中的bash操作对表运行hive count查询，但我总是得到一个table not found异常。COUNT=$(hive -S -e "SELECT COUNT(*) FROM <table_name> where <condition>;")其想法是将计数存储在一个变量中如果直接从shell上的<

浏览 3提问于2015-01-21得票数 0

2回答

将数据从Hive表导出到本地机器文件系统

hadoop、hive

/my/local/filesystem/directory/path中已经存在的全部数据。我想要的是只是把的数据复制到/my/loca/filesystem/directory/path和上，而不是覆盖，怎么做呢？以下是我失败的试验： hive> insert into local directory '/home/cloudera&

浏览 3提问于2014-03-09得票数 4

3回答

如何将XML数据文件加载到Hive表中？

hive

在将XML数据文件加载到HIVE表中时，我收到以下错误信息：**创建表StoresXml STORED AS INPUTFORMAT'org.apache.mahout.classifier.bayes.XmlInputFormat&#x

浏览 10提问于2013-04-09得票数 0

3回答

将csv数据加载到配置单元表时出错

r、hive、rjdbc

我在hadoop中有一个csv文件，并且有一个配置单元表，现在我想将该csv文件加载到此配置单元表中ParseException line 1:16 missing INPATH at ''path/tp csv/file'' near '<EOF>'注意:我正在尝试使用r中的

浏览 2提问于2014-10-23得票数 8

回答已采纳

2回答

如何使用HCatlog对猪的蜂窝转移瘤使用压缩技术？

hadoop、hive、apache-pig、hcatalog

我有一些pig脚本，它使用PigStorage()从普通文本文件中获取输入。我想从hive metastore加载并存储数据，为此，我使用了Hcatalog中的HcatLoader()和HcatStorage()。谁能告诉我如何在pig中存储和加载压缩蜂窝数据。

浏览 1提问于2013-10-15得票数 0

2回答

Hadoop -使用PIG加载蜂巢表

hadoop、hive、apache-pig、hcatalog

我使用自己的UDF从XML文件中提取数据，一旦提取了所有数据，我就必须在Hive表中加载Pig数据。我在用AWS。

浏览 1提问于2015-10-03得票数 0

1回答

如何生成用编码的文件

shell、character-encoding

在bash脚本中，我创建了一行，然后在循环中将字符串追加到文本文件中，如下所示我需要这个最后的文件被格式化使用西部(Mac )。脚本启动时文件不存在，因此第一个附加行将创建该文件。有没有办法使文件是这种格式，或将它的末尾转换成这种格式？我如何在bash脚本中做到这一点？

浏览 0提问于2011-12-02得票数 4

回答已采纳

1回答

Hive: Shell脚本将CSV文件加载到Hive表中？

csv、hadoop、hive

我的MapReduce作业生成一个CSV文件，并将其存储在HDFS中：它在HDFS中生成两个文件：/data/input/part-m-00000 如何在命令行/ shell脚本中将这个CSV文件加载到HIVE表中？

浏览 4提问于2014-07-28得票数 0

回答已采纳

1回答

以文本文件和oracle表为源的Hive或Pig或performance将提供最佳性能？

python、hadoop、mapreduce、hive、apache-pig

数据源是文本文件(80 GB)和Oracle表(15 GB)。两者都是结构化数据。我听说Hive将套件的结构数据和Python减少流的概念，也将有较高的性能比蜂箱和猪。请澄清。我正在使用Hive，原因是： 文本文件名将用于生成一个输出列，并已在虚拟列概念input__file__name字段中执行。现在，使用Hive和

浏览 2提问于2015-04-10得票数 2

2回答

如何创建管道以构建和发布Docker，如何使用图形界面(GUI)使用Azure Devops

docker、docker-compose、azure-devops、azure-pipelines、azure-container-service

那么，我如何创建一条管道来构建和发布一个Docker组合，使用Azure Devops通过图形界面(GUI)，我并不是开发人员方面的专家，但我的工作面临着这个挑战。

浏览 5提问于2020-12-22得票数 0

2回答

Uisng配置单元上下文，在本地系统metastore_db中本地创建配置单元表，而不是在集群上，放置我的配置单元-站点.xml的位置

scala、hadoop、apache-spark、hive、hivecontext

我已经创建了一个Spark上下文对象，并尝试从hadoop服务器(不在本地)上的文本文件中检索文本，并且我能够检索到它。当我尝试检索配置单元表(在独立的机器上，集群)时，我无法这样做，而当我创建一个配置单元表时，它是在metastore_db中本地创建的 ObjHiveContext.sql(“创建存储为orc的表yahoo_orc_tablehive-site.xml并从xml获

浏览 0提问于2015-12-18得票数 0

8回答

从配置单元中的所有表中获取行数

hql、hive

如何使用hive从所有表中获取行数？我对数据库名称、表名和行数感兴趣

浏览 1提问于2014-02-20得票数 7

1回答

使用脚本验证配置单元表

hive

我有一个hive表( t1)，我用脚本(s1.sql)验证了t1，结果被存储在另一个hive表(t2)中。现在，基于t1和t2中的记录数量，有一个条件。如果满足条件，则使用另一个脚本(s2.sql)分析t2；如果不满足，则不执行分析。我在bash中执行这些。怎么做呢？

浏览 2提问于2017-03-20得票数 0

1回答

如何复制某个前缀的所有文件？

regular-expression、string

我有一个bash脚本，它从输入文本文件中读取文件字符串，并将每个文件复制到一个目录中。一些文件字符串以$file="*..."的形式传递，其中文件以...结尾，如sim...或file...等。它读取的每个文件都存储在一个目录中。我需要它复制所有文件的后缀...和特定的前缀是有。如果字符串变量= sim...，则复制前缀为sim的</

浏览 0提问于2018-02-11得票数 0

回答已采纳

1回答

从JSON - Hadoop vs Spark中提取和分析数据

apache-spark、hadoop、apache-spark-sql、hdfs、data-processing

对于"ETL"，HDFS用于存储，而对于其他事物则没有其他限制。数据源1 (DS1)：大量数据--总计约1TB。我需要将ID1s从DS3 (结对: ID1、ID2)连接到DS1中的in，将ID2s从DS3 (结对: ID1、ID2)连接到DS2中的in。我需要将来自DS2的属性(使用前一个项目的“映射”)添加到从DS1提取的属性中。我目前的</e

浏览 0提问于2019-07-27得票数 0

1回答

带有Qt的Bash脚本程序

bash、qt、user-interface、arguments

如何在Qt中传递bash脚本中的参数？例如，使用脚本read test1echo $result1 我希望让用户在Qt中将关键字输入到lineEdit，当他们按下按钮时，将显示find .-name "*$test1*" -print0<em

浏览 8提问于2016-06-21得票数 1

回答已采纳

1回答

如何通过oozie工作流从shell脚本中从Hive获取值？

shell、hive、hiveql、oozie

我有一个shell脚本example.shhdfs dfs -put -f data.txt/user/username/data.txt 此脚本从hive中获取数据并将结果存储在hdfs中。这在终端机上如预期的那样工作。但是当我创建一个oozie工作流

浏览 7提问于2020-07-14得票数 1

2回答

在远程计算机上运行shell脚本，然后将输出复制到本地计算机。

shell、ssh、plink

该shell脚本在text file(aa.txt)中生成MachineB上的输出，并存储在/export/home/uname/aa.txt中。，所以我的问题是-有任何方法可以将aa.txt file从MachineB复制到MachineA，只要脚本使用ssh完成了它的所有任务。或者我们需要把所有这些东西放在Windows批处理文件中？所以问题陈述是这样的- 在Machi

浏览 7提问于2012-07-27得票数 2

回答已采纳

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云