在Hive中，如何将连接表中的多行合并为第一个表中的单个JSON数组？

文章/答案/技术大牛

发布

1回答

hive、hiveql

我有两个表，如下： users table| user_id name age | | 1 running |========================= 我想要执行一个Hive查询，它可以返回以下格式的行： { "user_id":1, "name":"pete&q

浏览 83提问于2019-05-10得票数 0

回答已采纳

1回答

使用Hive sql连接具有不同列的表

sql、amazon-web-services、join、hive、union

我正在使用AWS集群来处理许多包含嵌套数据的JSON文件到Hive扁平表中。有些数据集非常大，因此我需要将其拆分成块，并为每个块创建单独的小Hive表，这导致这些较小的表具有不同的列。有没有一种方法可以将这些小表(可能是数百个表，每个表有大约1e7行)附加、联合或连接到一个大的Hiv

浏览 4提问于2018-11-17得票数 0

1回答

如何过滤进入AWS蜂巢表的多行JSON数据

hive、amazon-emr、aws-iot、amazon-athena、amazon-kinesis-firehose

来自我的IoT发布的JSON数据都在一行-ex上：admin中的IoT "Test“部分允许您发布消息，默认为以下内容(注释格式的多行JSON)： "message": "Hello from AWS IoT console&q

浏览 0提问于2017-03-09得票数 0

1回答

配置单元创建表文件名000000_0？

hive

我目前正在创建一个外部表，就像这样：........TERMINATED BY '\n'但是当我运行insert重写表select时，它并没有创建一个名为"site_datatype.result“的文件，而

浏览 1提问于2011-12-16得票数 2

回答已采纳

2回答

将复杂的Json数据导入配置单元

json、hadoop、import、hive、bigdata

需要一个小汤匙喂食，如何将复杂的json导入hive。Json文件，格式为：{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]}。在dump下指定字段的配置单元。到目前为止，Json文件大小不超过200MB，但由于它是

浏览 2提问于2013-02-24得票数 1

回答已采纳

2回答

HiveSQL访问JSON-数组值

sql、arrays、json、hive、hiveql

我在Hive中有一个表，它是通过读取HDFS中的序列文件生成的。请注意json数组中的颜色CREATE EXTERNAL TABLE iotdata( customername' LOCATION '/IoTData/scray-data-000-v

浏览 1提问于2018-12-07得票数 1

回答已采纳

2回答

将JSON插入Hadoop

json、apache-spark、hadoop、hive、bigdata

我每天都有很多数据(JSON字符串)(大约150-200B)。我想将JSON插入到Hadoop中，最好的方法是什么(我需要快速插入和快速查询JSON字段)？我是否需要使用hive并为我的JSON创建Avro方案？或者，我是否需要将JSON作为字符串插入到特定列中？

浏览 0提问于2018-06-19得票数 0

1回答

在SerDe服务器上添加Hive* SparkSQL jar*

json、hive、thrift、apache-spark-sql、tableau-api

我有指向JSON文件作为内容的Hive表，这些表需要JSON (来自SerDe )来查询这些表。在承载Hadoop发行版的机器(或VM)中，我可以简单地在Hive或Beeline CLI中执行：然后，我能够对我的

浏览 4提问于2015-12-07得票数 1

回答已采纳

1回答

我的剧本有个问题：$remotefilehash = $remotefiles -replace '^[a-f0-9]{32}( )', '$0= ' | ConvertFrom-StringData这将创建一个哈希表。然后，我将这些散列与本地哈希集中的哈希进行比较。 # Create a hash set from the local hashes.$diffmd5 = $remotefilehash.Keys.Where({ -not $localHas

浏览 2提问于2021-10-30得票数 2

回答已采纳

2回答

嵌套json的配置单元查询

json、hadoop、hive

我在hive中存储了下面的json {"key":456,"c1":["s4","s5","s6"],

浏览 0提问于2014-03-28得票数 0

1回答

使用Spark Scala更新表配置单元

scala、apache-spark、rdd

我需要像这样update一个表蜂窝 set Col2 = B.Col2,

浏览 20提问于2017-08-30得票数 0

1回答

如何编写用于蜂巢查询的mapreduce代码

hadoop、mapreduce、hive

如何编写地图缩减代码组合器和洗牌在内部是如何工作的？

浏览 8提问于2014-05-26得票数 2

2回答

Hadoop缓冲与流媒体

hadoop、hive、hadoop-streaming

这是我在Hive中读到的上下文：在连接的每个map/reduce阶段，序列中的最后一个表通过reducers流传输，而其他表则被缓冲。因此，通过组织表以使最大的表在序列中最后出现，这有助于减少缩减程序中缓冲连接键的特定值的行所需的</em

浏览 0提问于2014-06-17得票数 2

1回答

雅典娜返回返回零结果

amazon-web-services、partitioning、aws-glue、amazon-athena

STORED AS INPUTFORMAT OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormathistoryrecordjson" where account_id='acc-1234' AND year= '2021' AND month= '1' AND day='1'

浏览 20提问于2021-01-21得票数 0

1回答

如何使用Spark的CREATE查询将gziped json数据加载到表中

apache-spark、apache-spark-sql、apache-superset

我想连接Apache和Apache (我有Spark 3.1.2)，并使用Apache查询Superset的SQL中的数据。在spark的主服务器上，我使用这个命令spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2启动了节俭服务器然后，我使用SQLAlchemy URI hive://hive@spark:100

浏览 5提问于2021-10-09得票数 3

3回答

加入蜂巢不好吗？

sql、hive、etl、hiveql、talend

嗨，我最近加入了一个使用Hive和PostgreSQL的新工作。现有的ETL脚本从按日期划分的Hive中收集数据，并为PostgreSQL中的这些数据创建表，然后PostgreSQL脚本/查询执行左联接并创建最终表以用于报告目的。我以前听说过蜂巢的加入不是个好主意。然而，我注意到Hive确实允许连接，所以我不知道为什么这是个坏主意。我想使用像Talend

浏览 10提问于2017-08-11得票数 0

回答已采纳

2回答

蜂箱的处理库是什么？

hadoop、hive、hdfs、hive-metastore

无论是它的内部表还是外部表，在这两种情况下，data of table都只能在HDFS中使用，而在NOWHERE中是可用的。也就是说，数据可以从任何地方获取，但必须在HDFS中加载，因为HIVE使用hadoop的处理引擎来处理数据。对吗？内部表中，table's metadata and table's data都可以在HIVE的数据仓库中使用，而且这个数据仓库

浏览 26提问于2022-02-05得票数 1

2回答

蜂箱连接查询优化

optimization、hive、bigdata、query-optimization、hiveql

Table Acol1, col2,Adate,qty -------表的大小如下：请考虑以下查询JOIN B GROUP BY A.col2,上面的蜂巢查询在一个由4个从节点(8GB内存，100 GB磁盘)和1个主(16 GB内存，100 GB磁盘)组成的集群上需要

浏览 2提问于2020-04-12得票数 3

3回答

我可以加入mysql的蜂巢吗？

mysql、hive、hdfs

我可以连接mysql和hive (hdfs上的蜂窝)之间的表吗？A在mysql，b在hdfs上。我怎么才能让它起作用？

浏览 3提问于2014-12-17得票数 0

回答已采纳

1回答

更改表连接命令风险

hive、mapreduce、concatenation、orc、apache-tez

我一直在使用tez引擎运行地图减少作业。我有一个需要很长时间才能运行的job，因为我注意到我有超过20k个文件，每个文件都有一个条纹，而tez并不根据文件的数量，而是条纹的数量来均匀地分配映射器。CONCATENATE，以便将要处理的文件数量减少到更均匀分布的每个文件中，现在地图作业运行得非常好。我担心的是，如果运行这个命令和丢失数据有任何风险，我就不会在文档中找到，因为它可以处理相同的文件。我试图评估是否更好地使用串接来降低文件数量

浏览 2提问于2021-05-11得票数 2

回答已采纳

点击加载更多