用Glom解析JSON
Glom是一种Python库，用于解析和提取JSON数据。它提供了一种简洁而强大的方式来处理嵌套的JSON结构，允许开发者通过简单的表达式语法访问和转换JSON数据。
Glom具有以下特点：
- 解析和访问嵌套JSON数据：Glom允许你使用点操作符和通配符来访问和提取JSON数据中的特定字段和值。你可以通过指定路径来访问嵌套对象中的数据，无论多深层次都可以轻松地进行操作。
- 灵活的表达式语法：Glom使用Python表达式语法，使得对JSON数据进行处理更加灵活。你可以在表达式中使用运算符、函数和条件语句，以便于执行复杂的转换和计算。
- 支持数据转换和聚合：Glom不仅可以提取JSON数据，还可以对提取的数据进行转换和聚合操作。你可以使用内置的转换函数和聚合函数来修改和汇总JSON数据，以满足特定需求。
- 异常处理和错误报告：Glom提供了异常处理和错误报告机制，使得在解析和操作JSON数据时能够更好地处理错误情况。你可以根据需要自定义异常处理逻辑，以便于处理无效或缺失的数据。
应用场景：
- 数据分析和处理：Glom可以帮助开发者快速解析和提取复杂的JSON数据，以便进行数据分析和处理。无论是处理大规模的数据集还是提取特定的字段，Glom都能提供便捷的方式来处理JSON数据。
- API响应解析：当与外部API进行交互时，往往需要解析返回的JSON响应。Glom可以帮助开发者快速而灵活地解析和提取所需的数据，以便于进一步处理和使用。
- 数据清洗和转换：在数据清洗和转换过程中，经常需要处理嵌套的JSON数据。Glom提供了强大的功能来处理复杂的JSON结构，使得数据清洗和转换更加高效和可靠。
腾讯云相关产品推荐： 腾讯云提供了多个与JSON数据处理相关的产品和服务，以下是其中两个推荐：
- 云函数（Serverless Cloud Function）：云函数是腾讯云提供的事件驱动的无服务器计算服务。通过云函数，你可以使用Glom来解析和处理JSON数据。你可以编写自定义的代码逻辑，在每次触发事件时自动执行，以实现对JSON数据的解析和转换。
产品链接：https://cloud.tencent.com/product/scf
- 数据库（TencentDB）：腾讯云的数据库服务支持存储和查询JSON数据。你可以使用Glom来解析和提取数据库中存储的JSON数据。通过数据库的查询接口，你可以使用Glom表达式来过滤和处理JSON数据。
产品链接：https://cloud.tencent.com/product/cdb
相关·内容
我刚刚发现了glom，本教程很有意义，但我不知道如何使用正确的规范来创建按client_id分组的数据结构，或者这是否是glom的正确用法。我想我可以通过循环遍历json来使用其他方法来实现这一点，但我希望了解更多关于glom及其功能的知识。
json具有Browser_History，每个历史记录条目的列表如下：
{
"Browser_History": [
{
"favicon_url": "https://www.google.com/favicon.ico",
浏览 15提问于2020-11-13得票数 0
我有一个很大的嵌套json对象，我想把它读到熊猫的dataframe中。json对象中有许多嵌套的json对。基本分层是：
API调用元数据(我并不真正关心这个)
调查响应元数据(我希望将这些信息包含在最终输出中)
页面(具有id号的调查页面，以及该页上有哪些问题)
问题( question_ids，以及问题中的相关response_ids )
一个样本看起来如下：
{
"per_page": 50,
"total": 4,
"data": [
{
"
浏览 1提问于2018-10-29得票数 0
使用循环将目标数据从JSON文件中收集到列表中。这些列表被组织成列，它们的值被组织起来；因此，不需要操作/重组。只是水平地连接它们。
#Selecting Data into List
i=1
target = f'{pathway}\calls_{i}.json'
with open(target,'r') as f: #Reading JSON file
data = json.load(f)
specsA=('PreviousDraws',['DrawNumber'])
draw=(glom(dat
浏览 6提问于2022-03-11得票数 0
回答已采纳
2回答
我正在尝试解析一个JSON对象，并且很难以一种可以与另一个df合并的方式访问一个值。该值的路径为：QueryResponse.Purchase[0].Line[0].Amount 此规范将为我提供第一个值： glom(data, ('QueryResponse.Purchase', ['Line'], (['0'], ['Amount']))) 而不是包含在另一个Lines中的Amounts。我可以访问其他Amount值，但是还不知道如何将其与包含Purchase级别的值的df合并
浏览 29提问于2021-01-14得票数 0
2回答
我有一些用YAML创建的对象结构。在YAML中使用了许多标记。因此，该文档不仅包含内置类型，还包含一些从已注册构造函数创建的对象。我需要通过一些模式来检查它们。
到目前为止，我已经尝试过jsonpath、objectpath、jmespath和dpath。所有这些库都很棒，我喜欢查询语言(特别是前两种)，但它们严格要求JSON作为输入。对于原始对象有一些类似的东西吗？
浏览 5提问于2016-12-18得票数 1
2回答
我很好奇如何使用pandas来读取以下结构的嵌套json：
{
"number": "",
"date": "01.10.2016",
"name": "R 3932",
"locations": [
{
"depTimeDiffMin": "0",
"name": "Spital am Pyhrn Bahnhof",
浏览 2提问于2016-11-14得票数 42
回答已采纳
6回答
我正在尝试从python脚本中执行jq命令。目前，当我从终端(MacOs)执行时，jq命令工作正常。
cat filename.json |jq '{Name:.name, address:.address[0][1].street}'
基本上，我试图使用jq从JSON中提取数据。由于JSON包含嵌套数组，因此必须使用变量循环。
我的问题是-
我可以从python脚本执行这个命令吗？
如果可以完成，那么我将如何遍历嵌套数组？
提供的示例数据中的元素(address.street)
我不想使用除了python以外的任何语言，因为它会导致兼容性问题。
浏览 8提问于2016-07-06得票数 15
我有以下高度简化的结构
elements = [{"id": "1", "counts": [1, 2, 3]},
{"id": "2", "counts": [4, 5, 6]}]
我希望能够使用glom构造一个新的表单{<id>: <counts[pos]>}字典，例如pos = 2
{"1": 3, "2": 6}
或者是元组的列表/元组。
[("1",3), ("2", 6)]
使
浏览 0提问于2019-08-13得票数 3
回答已采纳
1回答
我目前正在使用glom解析JSON API响应，该响应返回一个字典列表，其中包含一个字典列表。我遇到的问题是glom访问正确的字典条目。 JSON示例： {'answeredAt': '2019-08-23T21:11:04Z',
'direction': 'Inbound',
'disposition': 'Answered',
'duration': 110867,
'endedAt': '2019-08-23T21:12:55Z'
浏览 21提问于2019-08-29得票数 1
我有这样一个数据对象：
data = {
'props': {
'items': [
{'name': 'a', 'content': 'plain'},
{'name': 'b', 'content': {'id': 'x'}},
{'name': 'c', 'content'
浏览 0提问于2019-01-07得票数 5
回答已采纳
1回答
在Python中，在输入中给定一个dict，如下所示：
input = {
'foo': 'bar'
}
我应该使用哪个glom规范来将其转换为带有单个项的数组？
spec = ?
glom(input, spec)
# ['bar']
我在glom文档中找不到这种转换的任何参考资料。
谢谢
浏览 5提问于2021-12-15得票数 0
回答已采纳
输入= JSON字符串，列表来过滤字符串。
输出=过滤字典
输入是一个列表，其中包含一些有效的和一些无效的键，其中嵌套了'.'，
b.c.d是指d在{b: {c: { d: ...}}中的值
我想按照查询列表过滤JSON字符串，忽略不存在的任何键。
b.c.j不应该返回任何东西，因为它不存在。
input_query_list = ["a", "b.c", "b.d.f", "g", "b.c.j"]
json_string = """
{
浏览 3提问于2020-07-25得票数 1
回答已采纳
我有微生物组数据与OTUs鉴定到最低的分类水平可能。一些OTUs被识别为属，另一些被识别为科，订单等。我需要创建一个堆叠的条形图。
我的问题是：
如果我选择“属”作为我的条形图，没有识别到该属级别的任何东西都显示为“未知”。，如果我选择更高的水平，我就失去了特异性。--
如何为我的数据创建一个具有最佳分类分辨率的条形图？
谢谢!
浏览 5提问于2022-05-01得票数 0
from glom import glom, T
from glom.core import Val
target = [
{"firstname": 'boka', 'lastname':'raton'},
{"firstname": 'cape', 'lastname':'town'}
]
spec = ([{
'fname':'firstname',
'index': Val(&
浏览 5提问于2021-05-14得票数 0
我在RDD上遇到了glom()方法。根据文件
返回通过将每个分区中的所有元素合并为数组而创建的RDD。
glom是在分区间对数据进行洗牌，还是只将分区数据作为数组返回？在后一种情况下，我认为可以使用mapPartitions实现同样的目标。
我还想知道是否有任何从glom中受益的用例。
浏览 4提问于2016-03-02得票数 15
回答已采纳
这是一个关于Glom ()用法的问题。
我有一本字典，里面有其他字典的列表。
{'date': '2020-01-01',
'location': 'A',
'items': [
{'name': 'A', 'id': 'A1'},
{'name': 'B', 'id': 'B1'},
{'name': 'C', '
浏览 4提问于2020-04-15得票数 1
回答已采纳
我希望能够只过滤掉1，或者所有小于某个索引的列表项都包含glom，但是glom文档的片段部分中的过滤器片段没有告诉我如何做到这一点。
示例(只保留列表中的第2项)：
target = [5, 7, 9]
some_glom_spec = "???"
out = glom(target, some_glom_spec)
assert out == [5, 7]
浏览 0提问于2019-08-16得票数 6
回答已采纳
Glom使访问复杂的嵌套数据结构更容易。
给定以下玩具数据结构：
target = [
{
'user_id': 198,
'id': 504508,
'first_name': 'John',
'last_name': 'Doe',
'active': True,
&#
浏览 1提问于2018-11-01得票数 2
回答已采纳
1回答
我有一个特别讨厌的stats对象，我需要从一个系统中检索数据(为了简洁起见，显示了许多统计项中的两个)。
'https://localhost/mgmt/tm/sys/performance/all-stats/TMM%20Memory%20Used': {'nestedStats': {'entries': {'Average': {'description': '5'},
浏览 3提问于2019-11-12得票数 2
回答已采纳
我正在使用项目。
有没有办法将[{"id": 1, "name": "foo"}, {"id": 2, "name": "bar"}]转换为{1: "foo", 2: "bar"}？
浏览 0提问于2019-02-19得票数 5
回答已采纳
我需要从嵌套字典列表中构建一个数据框架。清单是这样的：
[
{'user': {'id': '0011c9a5-d870-4a4d-b32c-689e73f11049'}, 'userContent': {'gy_cv': {}}}
{'user': {'id': '001e6168-8034-41a1-8d3b-afde984aa5e8'}, 'userContent': {'gy_cv': {}}}
{
浏览 8提问于2022-04-06得票数 2
3回答
考虑以下来自Java Puzzler的代码
class Gloam<T>{
String glom(Collection<?> objs ) {
System.out.println("collection");
String result = "";
for (Object o : objs ){
result += o;
}
return result;
}
int glom(List <Integer> ints ) {
System.out.print
浏览 0提问于2013-07-19得票数 4
回答已采纳
1回答
TL;DR：当我将火花DataFrame抛出为json时，我总是以这样的方式结束
{"key1": "v11", "key2": "v21"}
{"key1": "v12", "key2": "v22"}
{"key1": "v13", "key2": "v23"}
这是无效的json。我可以手动编辑转储文件以获得我可以解析的内容：
[
{"key1": "v11",
浏览 0提问于2018-01-29得票数 5
回答已采纳
如何在glom的输出中包含特定字段的缺省值？
例如，我可以包括这样的“常量”：
from glom import Spec, Literal
extract = Spec({'A': 'a', 'B': Literal(42)}).glom
assert extract({'a': 'life'}) == {'A': 'life', 'B': 42}
但是，如果输入中没有“B”，我如何指定“B”应该指向42？走出阴霾，我能做到：
from glom import Sp
浏览 2提问于2019-09-18得票数 2
回答已采纳
1回答
我有一个嵌套得很深的数据，以字典的形式表示，其中包含列表和数据集(例如，Dict、->、List of dicts、->、Dict、->，dicts)。
我想用glom解析它的值(希望是一些熊猫-数据可测量的东西)，但是很难在glom的规范中混合dicts和列表。
我可以通过链接迪克键和索引列表来访问每个单独的值，如下所示：
dict['TradePlaceList'][0]['TradeList'][0]['Trade']['Message']['soap:Envelope']['soa
浏览 5提问于2022-01-08得票数 1
回答已采纳
1回答
我试图做一个相对丰富的条形图，但是图中的条形图没有颜色，尽管传说中有颜色。下面是我使用的脚本。请帮忙。我贴了一张图的样子的照片。
library(phyloseq)
library(vegan)
library(ggplot2)
require(vegan)
library(gplots)
library(dplyr)
library(scales)
##create the phyloseq object (I just give the basic command here, but don't forget to rarefy)
table = read.table (fil
浏览 5提问于2022-07-22得票数 0
1回答
我有如下所示的字符串RDD
val rdd1: RDD[String] = RDD("a","b","c","d")
我希望将上述RDD的元素连接起来，并将其转换为一个由单个元素组成的RDD，如下所示
RDD("a,b,c,d")
做这件事最好的方法是什么？
浏览 1提问于2016-06-29得票数 0
回答已采纳
我正在使用glom软件包来帮助翻阅一本大词典。
鉴于这些数据：
data = {
'groups': [
{'instance': {'name': 'football'}},
{'instance': {'name': 'rugby'}},
{'id': 145, 'type': 'unknown'},
]
}
使用glom，我尝试获取实例名称：
import glom
浏览 9提问于2020-01-21得票数 3
1回答
我有一个N号的RDD[LabeledPoint]。
我希望将其转换为RDD[Array[LabeledPoint]]，使所有数组的大小大致相同(如果需要的话，更小的数组除外)。
我发现是一种在RRD的分区上迭代的方法(用于RDD[Double])：
val batchedRDD = rdd.mapPartitions { iter: Iterator[Int] =>
new Iterator[Array[Int]] {
def hasNext: Boolean = iter.hasNext
def next(): Array[Int] = {
iter.t
浏览 0提问于2016-02-25得票数 1
回答已采纳
我想了解更多关于pyspark分区数据的知识。我需要一个这样的功能：
a = sc.parallelize(range(10), 5)
show_partitions(a)
#output:[[0, 1], [2, 3], [4, 5], [6, 7], [8, 9]] (or however it partitions)
浏览 3提问于2015-12-11得票数 4
回答已采纳
1回答
在下面的代码中，我试图根据数据屏蔽个人信息。我有两个场景。在场景1中，我想要在valueString = 'FirstName‘时更新，或者将掩码的值赋给"Masked“。在场景2中，我想要在类型与模式“first*Name”匹配时进行更新，更新或将valueString值分配给"Masked“。我想知道是否有人对编写glom assign语句来解决上述情况有建议。 Json字符串示例 {
"id": "985babac-9999-8888-8887",
"entity": [
{
"what": {
&
浏览 20提问于2021-08-02得票数 0
1回答
我有一个嵌套的结构，比如 target = \
{'A1':
{'B1': 'a1b1',
'B2': 'a1b2'
}
{'A2':
{'B1': 'a2b1',
'B2': 'a2b2'
}
} 我如何才能轻松地找到第二级(熊猫术语)中所有带有“B2”的项目，即['a1b2', 'a2b2'] 我试过了 glom(target, T[:, 'B2
浏览 12提问于2020-06-19得票数 0
回答已采纳
1回答
我正在使用Spark的python。
我有一个很大的文本，我用rdd = sc.loadtxt("file.txt")加载。
之后，我想在rdd上执行一个mapPartitions转换。
但是，我只能使用python迭代器访问每个分区中的文本文件的每一行。
这不是我喜欢的使用数据的方式，它在我的应用程序的性能成本。
还有其他方法可以访问每个分区上的文本文件吗？
例如:获取它像一个真正的txt文件，一个字符串，其中行被\n分隔。
浏览 1提问于2015-12-15得票数 3
4回答
包含字典的解码列表
、、、、
我需要从字典列表中获取某些值，这些字典看起来是这样的，并被分配给变量“段_值”：
[{'distance': 114.6,
'duration': 20.6,
'instruction': 'Head north',
'name': '-',
'type': 11,
'way_points': [0, 5]},
{'distance': 288.1,
'duration': 28.5,
'instr
浏览 10提问于2021-04-20得票数 1
回答已采纳
我一直在试验PySpark RDD的分区和重新分区。
我注意到，当将一个小样本RDD从2个分区重新划分到6个分区时，只添加了几个空部分。
rdd = sc.parallelize([1,2,3,43,54,678], 2)
rdd.glom().collect()
>>> [[1, 2, 3], [43, 54, 678]]
rdd6 = rdd.repartition(6)
rdd6.glom().collect()
>>> [[], [1, 2, 3], [], [], [], [43, 54, 678]]
现在，我想知道这是否也发生在我的真实
浏览 2提问于2021-05-19得票数 1
回答已采纳
我有一个包含文件行的RDD。我希望每个分区不包含行，而是包含连接行。例如：
Partition 1 Partition 2
line 1 line n/2+1
line 2 line n/2+2
. .
. .
. .
line n/2 line n
上面的Figure1显示了我的RDD，它是在我们使用sc.textFile()方法时生成的。我想从上面的图1转到下面的图(图2)：
浏览 0提问于2016-02-20得票数 1
回答已采纳
作为输入Json，
[{
"ID": "00300000-0000-0000-0000-000000000000",
"CommonTags": [
"Sports"
],
"subID": "149f43d0-6fa9-44f3-b4ba-6fb7a320d0a4",
"Description": "Sports,Arts
浏览 9提问于2022-02-16得票数 0
回答已采纳
2回答
我正在学习spark，当我用下面的表达式测试pyspark中的learning ()函数时，我观察到一个非常奇怪的结果:在repartition()函数之后，所有元素都落入同一个分区中。在这里，我使用glom()来了解rdd中的分区。我原以为repartition()会对元素进行洗牌，并将它们随机分配到各个分区中。只有当我用新的分区数重新分区时，<=原始分区才会发生这种情况。
在我的测试中，如果我设置了新的分区数>原始分区，也没有观察到洗牌。我在这里做错什么了吗？
In [1]: sc.parallelize(range(20), 8).glom().collect()
Out[1
浏览 0提问于2018-01-27得票数 3
回答已采纳
我想将RDD分割成长度相同的n个部分，使用Pyspark。
如果RDD类似于
data = range(0,20)
d_rdd = sc.parallelize(data)
d_rdd.glom().collect()
[[0, 1, 2, 3, 4, 5, 6, 7, 8, 9], [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]]
我希望任意两个随机数集合在一起，就像
[[0,4],[6,11],[5,18],[3,14],[17,9],[12,8],[2,10],[1,15],[13,19],[7,16]]
浏览 0提问于2016-03-29得票数 1
回答已采纳
1回答
简单地说，：，我怎么能在黑暗中切成一片？也就是说，能够指定我想要从几个索引(例如y = x[(2, 5, 11)])中提取，而不仅仅是一个索引(例如y = x[2])。
简单示例：假设我有以下数据：
d = {'_result': [[1, 'a'], [2, 'b'], [3, 'c']]}
要提取列表的"_result“列表的命名zip(*)，我可以这样做：
from glom import Spec
extract = Spec(('_result',
lambd
浏览 2提问于2019-09-20得票数 4
回答已采纳
如何单独打印特定分区的元素，比如第5个分区？
val distData = sc.parallelize(1 to 50, 10)
浏览 0提问于2015-05-06得票数 11
回答已采纳
我想要的基本上是每个数据元素由10行组成。但是，对于下面的代码，每个元素仍然是一行。我在这里做什么错事？
val conf = new SparkConf().setAppName("MyApp")
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
conf.registerKryoClasses(Array[Class[_]](classOf[NLineInputFormat], classOf[LongWritable],
classOf[
浏览 3提问于2016-10-29得票数 1
回答已采纳
1回答
早上好，我开发了一个简单的合并排序算法，我想比较一下它在并行化和非并行化时的性能。
首先，我正在生成一个数字列表来排序，并检查合并排序对列表排序所需的时间。
接下来我要做的是将数字列表传递到sc.parallelize()中，并将list转换为RDD，然后将合并排序函数传递给mapPartitions()，然后将collect()。
import random
import time
from pyspark import SparkContext
def execute_merge_sort(generated_list):
start_time = time.time()
浏览 0提问于2018-12-08得票数 1
回答已采纳
Glom ()，除其他外，是为了
基于路径的嵌套结构访问
，但是如何使它在dicts之外的嵌套结构中工作呢？
考虑以下类(为了简单起见，这不是一个实际的collection.abc.Mapping )：
class MyMap:
def __init__(self, d):
self.d = d
def __getitem__(self, k):
"""just delegating"""
v = self.d[k]
if isinstance(v, (di
浏览 0提问于2019-08-28得票数 3
回答已采纳
1回答
在这一行代码中，磅号表示什么？
#define CONDITION(x) if(!(x)){ HandleError(#x,__FUNCTION__,__LINE__);return false;}
这就是它的名称：
CONDITION(foo != false);
浏览 0提问于2015-02-18得票数 4
回答已采纳
我有两个具有相同键和不同值的RDD。我请他们使用相同的.partitionBy(partitioner)，然后加入他们的行列：
val partitioner = new HashPartitioner(partitions = 4)
val a = spark.sparkContext.makeRDD(Seq(
(1, "A"), (2, "B"), (3, "C"), (4, "D"), (5, "E"), (6, "F"), (7, "G"), (8, "H
浏览 2提问于2017-05-17得票数 1
回答已采纳
1回答
数据集很大，因此不能使用.glom()和.collect()。我已经创建了一个散列分区，我只想打印每个分区中的记录数。因为某种原因，我可以使用.glom()，但不能使用.collect()？
浏览 5提问于2022-08-21得票数 1
1回答
我已经复习了系统分类教程，但我不能确定如何确定胁迫水平和绘制一个特定分类群(物种除外)的排序，如科或其他分类。
为了说明我的观点，下面是下面的R代码：
library("phyloseq")
data(GlobalPatterns)
GP <- GlobalPatterns
这是一种只分离分类群的尝试。
GPtaxa <- tax_table(GP)[, "Family"]
GPotu <- otu_table(GP)
GPsd <- sample_data(GP)
GPpt <- phy_tree(GP)
GPnew
浏览 0提问于2017-09-15得票数 1
回答已采纳
因此，我正在尝试为具有多个样本的微生物组数据创建条形图，我想执行以下操作：
1)去除小于1%的类群
2)在data.frame中为每个站点创建另一行(其他原核生物)，其中包含1的结果-每个站点中的其余门
3)制作一个实际相加为100%的条形图
我已经尝试过以下代码
library(phyloseq)
library(vegan)
library(ggplot2)
library(plyr)
library(tidyverse)
# get abundance in %
phy <- transform_sample_counts(HCSData, function(x) 100*x/s
浏览 1提问于2019-01-18得票数 0
我使用Python 从包含列表的字典中提取数据。
这个问题是关于是如何与用户定义的函数一起工作的，以及如何将数据从列表中移到字典中的glom中的。
例如，我试图将数据直接转换为字典。
# in the real world, this data has way many more fields
data = {'vessels': [{'aisStatic': {'mmsi': 1, 'name': 'name1'}},
{'aisStatic': {'mmsi
浏览 1提问于2019-11-11得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
