如何在presto中将行转换为map？
在Presto中将行转换为Map可以通过使用map_agg函数来实现。map_agg函数将两个列作为输入，一个用作键，另一个用作值，并将它们聚合为一个Map。以下是一个示例查询，演示如何在Presto中将行转换为Map：
SELECT id, map_agg(attribute, value) AS attributes
FROM your_table
GROUP BY id;在上面的查询中，your_table是包含行数据的表，id是用作Map键的列，attribute和value是用作Map值的列。map_agg函数将根据id将相同的键值对聚合为一个Map，并将其命名为attributes。
这种行转换为Map的方法在以下情况下特别有用：
- 当你有一些属性-值对的数据，并且想要将它们组合为一个Map时。
- 当你想要在Presto中进行一些Map相关的操作，例如使用
map_keys函数获取Map的键列表，或者使用map_values函数获取Map的值列表。
对于Presto的更多信息和使用示例，你可以参考腾讯云的Presto产品介绍页面：Presto - 腾讯云
相关·内容
1回答
如何在配置单元中的复杂列中选择有限数量的值？
dictionary、hive、hiveql
我有一张表，上面有id，名字和熟练程度。“熟练程度”列是一个复杂的列，具有map数据类型。如何将复杂地图数据类型中显示的数据量限制为2？ 示例表 ID | name | Proficiency
003 | John | {"Cooking":3, "Talking":6 , "Chopping":8, "Teaching":5}
005 | Lennon | {"Cooking":3, "Programming":6 }
007 | King | {"Chopping"
浏览 13提问于2020-11-03得票数 1
回答已采纳
2回答
如何从直方图图中选择对应于最高值的键？
amazon-athena
我使用的是histogram()函数
它“返回一个包含每个输入值发生次数的计数的映射。
结果可能是这样的：
{ORANGES=1, APPLES=165, BANANAS=1}
给定上述输入，是否有返回APPLES的函数？
XY问题？
精明的读者可能会注意到histogram()的最终结果，再加上我想要做的事情，这将相当于神话模式函数，它存在于教科书中，但并不存在于现实世界的数据库引擎中。
这是我在这一点上的完整查询。我正在为每个upper(cmplx)元组寻找最常见的upper(address),zip值：
select * from (select upper(address) as ad
浏览 0提问于2019-02-25得票数 3
回答已采纳
1回答
无法groupBy MapType列在星火DataFrame中
scala、apache-spark
我现在的问题是.
Exception in thread "main" org.apache.spark.sql.AnalysisException: expression 'mapField' cannot be used as a grouping expression because its data type map<string,string> is not an orderable data type.;;
我试图实现的只是根据给定的一组列对DataFrame中的条目进行分组，但是在与前面提到的MapType列进行分组时似乎失败了。
浏览 1提问于2019-05-13得票数 5
回答已采纳
3回答
如何为所有键使用常量来更新值
apache-spark、apache-spark-sql
我有两个类型为Integer和Map的列，我想知道更新map列所有键的值的最佳方法。
在UDF的帮助下，我能够更新这些值。
def modifyValues = (map_data: Map[String, Int]) => {
val divideWith = 10
map_data.mapValues( _ / divideWith)
}
val modifyMapValues = udf(modifyValues)
df.withColumn("updatedValues", modifyMapValues($"data_ma
浏览 0提问于2019-09-05得票数 4
回答已采纳
1回答
我在Hive中运行了一个查询，结果得到两列(year和count)。1900 2 1901 5 1902 7 1903 3 1904 5
我需要找到最大计数并返回年份和计数；预期答案为1902 7
我运行了一个类似于SQL的嵌套查询，但它给出了一个解析错误："..cannot recognize input 'select'in expression specification..“
有谁能让我知道吗？谢谢。
致敬，Rahul
浏览 2提问于2013-12-20得票数 1
2回答
Presto/Athena -查询以发现JSON属性频率？
json、presto、amazon-athena
我定义了一个Hive表，其中一个列包含JSON文本：
CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata (
json string
)
PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'separatorChar' = '\n',
'quoteChar' = '\0',
浏览 3提问于2017-04-10得票数 1
回答已采纳
2回答
如何将JSON键值对转换为pyspark中的记录？
pyspark
我有一系列类似如下的JSON：
{
id: '121',
values: {
"Value A": 1,
"Value B": 2,
"Value C": 3
}
}
键-值对的数量可以变化。
我想创建一个pyspark程序，它将把这段代码分解成如下所示的DataFrame：
id | key | value
____ _________ ______
121 | Value A | 1
121 | Value B | 2
121 | Value
浏览 1提问于2020-10-28得票数 0
3回答
如何从JSON字符串列中提取键和值作为单独的列
apache-spark、pyspark、apache-spark-sql、pyspark-dataframes
我有一个DataFrame，其中包含col1和col2列，col2可以包含JSON字符串或普通字符串。如果它包含一个可解析的JSON字符串，我需要提取键和值作为列表来分隔列，它应该作为第三行和第四行返回一个空列表。
我正在使用火花放电来实现这一目标。这里的任何帮助都是非常感谢的。
资料来源DataFrame:
+-----+----------------------------------------------+
| col1| col2 |
+-----+---------------------------
浏览 0提问于2020-08-20得票数 1
回答已采纳
1回答
Spark:如何从spark数据帧行解析和转换json字符串
python、apache-spark、pyspark、apache-spark-sql
如何解析和转换json字符串从火花公子数据行？
我在寻找如何解析的帮助：
从json到output 1transform json字符串到列a、b和id output 2的json字符串
背景:我通过API字符串获得了大量行(jstr1、jstr2、.)，这些行被保存为激发df。我可以分别读取每一行的模式，但这不是解决方案，因为它非常慢，因为模式有大量行。每个jstr都有相同的模式，列/键a和b保持不变，只有id和列中的值变化。
编辑:黑主教解决方案使用MapType模式像魅力schema = "map<string, array<struct<a:int,b:int
浏览 1提问于2021-01-29得票数 2
回答已采纳
2回答
使用组计算雅典娜的模式()
sql、amazon-web-services、group-by、statistics、amazon-athena
我有一个带有模式的表'A‘
subject, marks
假设它有以下条目
(maths,90),(maths,90),(maths,80),(english,30),(english,30),(english,10)
我希望在“标记”列上计算Mode()，以便
(maths,90),(english,30) is the output
对于AWS雅典娜来说，在互联网上找不到同样的方法。任何帮助都将不胜感激！
浏览 1提问于2021-04-05得票数 0
回答已采纳
1回答
当使用窗口函数时，hive是否支持按语句进行分区的复杂类型？
hive、hiveql
我已经成功地在GROUP BY语句中使用了复杂类型(在我的案例地图中)。但是，当我尝试在分区语句中使用map时，我会得到一个错误：
SELECT *, MIN(dt) OVER(PARTITION BY some_map) FROM some_table
失败: SemanticException未能将窗口调用分解为组。至少有一个组必须仅依赖于输入列。还检查循环依赖项。基础错误:分区表达式(TOK_TABLE_OR_COL query_params)不是可比较的表达式
那么单元是否支持语句分区中的复杂类型？如果没有，那么如果我需要保留所有其他列值(所以我不能执行GROU
浏览 4提问于2017-04-13得票数 1
1回答
提取所有JSON密钥
sql、json、presto
我有一个JSON列j，类似于：
{'a': 2, 'b': {'b1': 3, 'b2': 5}}
{'c': 3, 'a': 5}
{'d': 1, 'c': 7}
如何从Presto获得所有不同的(顶级)键名？也就是说我有点像
select distinct foo(j)
返回
['a', 'b', 'c', 'd']
(请注意，在这种情况下，我不太关心嵌套的键)
没有任何明确符合要求的函数。唯一看上
浏览 2提问于2017-12-01得票数 4
回答已采纳
1回答
将'key:value‘字符串元素拆分到结构中，并在找到时提取一些值
python、apache-spark、pyspark、split、apache-spark-sql
我有一个带有这个模式的DataFrame：
root
|-- id: string (nullable = false)
|-- data_zone_array: array (nullable = true)
| |-- element: string (containsNull = true)
它实际上包含一个数组data_zone_array，该数组包含几个或多或少可预测的字符串值(或根本没有)，其中的键和值由:分隔；类似于以下show(5)输出：
id | data_zone_array
1 | ['name:john', 'surna
浏览 2提问于2021-11-15得票数 1
回答已采纳
2回答
配置单元-地图数据类型列上的联接
sql、hadoop、hive、hiveql
table 1 -
name bal map<String,String> year
abc 24000 {car : honda, company : boa} 2015
ac 21000 { car:honda} 2015
def 23000 {car:honda, company: boa} 2015
abc 21000 {car : honda, company : boa} 2014
ac 20000 { car:honda} 2014
def 22000 {car:honda, compa
浏览 3提问于2015-12-03得票数 0
2回答
如何在SparkSQL DataFrame中从MapType列中获取键和值
scala、apache-spark、dataframe、apache-spark-sql、apache-spark-dataset
我有一个拼图文件中的数据，其中有2个字段：object_id: String和alpha: Map<>。
它被读入sparkSQL中的一个数据框中，模式如下：
scala> alphaDF.printSchema()
root
|-- object_id: string (nullable = true)
|-- ALPHA: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
我正在使用Spark2.0，并尝试创建一个新的数据框，其中
浏览 2提问于2016-11-15得票数 18
回答已采纳
2回答
与spark map列中的最大值对应的键
scala、apache-spark、apache-spark-sql
如果我有一个从字符串到双精度的spark map列，有没有容易生成一个新列的方法，它的键对应于最大值？ 我能够使用如下所示的集合函数来实现它： import org.apache.spark.sql.functions._
val mockedDf = Seq(1, 2, 3)
.toDF("id")
.withColumn("optimized_probabilities_map", typedLit(Map("foo"->0.34333337, "bar"->0.23)))
val df = mocke
浏览 39提问于2020-01-09得票数 1
回答已采纳
2回答
选择和计数雅典娜中的数组键
sql、amazon-athena
我有许多行数据表示我的数据库中的事件。每一行都有一个列“有效负载”，其中包含一个键和值数组。我可以轻松地解析一个值，使用
Select
payload.keyname
from Database
但我正在试图得到一个列表和计数所有的钥匙出现在一个特定的一天。
| payload |
|{id=a, gameid=x, gametype=1, sponserid=null} |
|{id=b, gameid=y, gametype=2, action=jump, spo
浏览 1提问于2021-11-30得票数 0
回答已采纳
1回答
从雅典娜/Presto中的JSON中提取对象值
presto、amazon-athena、trino
我有一个包含JSON对象的列。我需要从这个对象中提取所有的值。问题是键不是固定的，并且包含一些I，所以我无法通过确切的键值提取值。下面是一个示例：
{
"1220202132188388": {
"id": "1220202132188388",
"date": "2019-04-03"
},
"482928839992": {
"id": "482928839992",
"
浏览 5提问于2020-01-31得票数 1
回答已采纳
3回答
用字典参数激发UDF失败
python、apache-spark、pyspark
我在一个Spark中有一个列(myCol)，它的值为1,2，我想创建一个新的列，描述这个值，比如1-> 'A'，2->'B‘等等。
我知道这可以通过连接来完成，但是我尝试了这一点，因为它看起来更优雅：
dictionary= { 1:'A' , 2:'B' }
add_descriptions = udf(lambda x , dictionary: dictionary[x] if x in dictionary.keys() else None)
df.withColumn("description",
浏览 2提问于2019-07-15得票数 3
回答已采纳
1回答
如何将包含某些结构的数组的列拆分为单独的列？
scala、apache-spark、dataframe
我有以下设想：
case class attribute(key:String,value:String)
case class entity(id:String,attr:List[attribute])
val entities = List(entity("1",List(attribute("name","sasha"),attribute("home","del"))),
entity("2",List(attribute("home","hyd")))
浏览 2提问于2019-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
