如何将像这样的嵌套JSON转换为数据帧？我尝试使用pandas json_normalize，但仍然得不到正确的数据帧
如何将像这样的嵌套JSON转换为数据帧？
在将嵌套的JSON转换为数据帧时，可以使用pandas的json_normalize函数。但在使用时，可能会遇到一些问题导致无法得到正确的数据帧。下面是一些可能的解决方法：
- 检查嵌套JSON的结构：首先，确保你了解嵌套JSON的结构。它可能是一个对象（字典）的列表，或者是一个嵌套的字典。根据JSON的结构，你可以确定如何正确地使用json_normalize函数。
- 使用参数errors='ignore'：尝试在调用json_normalize函数时，添加参数errors='ignore'。这将忽略解析过程中的错误，可能有助于解决无法得到正确数据帧的问题。
- 手动展平嵌套的JSON：如果json_normalize函数无法正确地处理嵌套的JSON，你可以尝试手动展平JSON。可以使用递归函数遍历JSON，并将其转换为扁平的结构。然后，将扁平的结构转换为数据帧。
- 使用其他库：如果pandas的json_normalize函数无法满足需求，可以尝试使用其他库，如json_tricks、jsonpath_rw或json_flatten。
总之，解决嵌套JSON转换为数据帧的问题可能需要结合上述方法进行尝试。根据具体情况，你可能需要根据JSON的结构和特点进行适当的调整。
相关·内容
1回答
我有一个脚本，它将嵌套的JSON作为pandas数据帧读取，并向其中添加一个新列，然后将其保存为JSON。 import numpy as np
from pandas.io.json import json_normalize
sample_json = {
"name": {
"emails": [{"address": "clark.kent@example.com"}],
"countries": [{"country": "US"
浏览 18提问于2019-06-06得票数 1
1回答
我有一个稍微复杂的json，我需要将其转换为dataframe。这是来自另一个API的标准输出json，因此字段名称不会更改。 我有下面的字典，它比我到目前为止使用的要复杂得多。 >>> import pandas as pd
>>> data = [{'annotation_spec': {'description': 'Story_Driven',
... 'display_name': 'Story_Driven'},
... 'segments'
浏览 16提问于2019-05-10得票数 1
回答已采纳
2回答
可以从JSON格式化为文本而不是Python对象来创建数据帧吗？
例如，使用Python对象，我可以这样做：
from pandas.io.json import json_normalize
import requests
response = requests.get(url, params).json()
df = json_normalize(response)
但是我想用response = requests.get(url,params).text实现同样的效果(虽然不需要扁平化)。
浏览 1提问于2018-11-10得票数 0
2回答
我正在使用geocodio从我的数据帧中获取2272个地址的列表中的坐标。当我尝试使用json_normalize平面化结果时，我得到的是坐标，但我的数据帧是4800+行，而不是每个地址的正确2272。 import json
from pandas.io.json import json_normalize
addys = json_normalize(locations, record_path=['results'])
addys = addys[['location']] 产生的JSON输出如下：(我只需要每个条目的'results‘
浏览 88提问于2020-10-16得票数 1
我正在将Twitter数据(tweet+ meta数据)收集到MongoDB服务器中。现在我想做一些统计分析。为了将数据从MongoDB获取到Pandas数据框架中，我使用了以下代码：
cursor = collection.find({},{'id': 1, 'text': 1})
tweet_fields = ['id', 'text']
result = pd.DataFrame(list(cursor), columns = tweet_fields)
通过这种方式，我成功地将数据加载到Pandas中，这是很棒的。现在
浏览 2提问于2015-10-26得票数 5
回答已采纳
1回答
我有一个巨大的CSV文件(3.5GB，每天都在变大)，它有正常的值，还有一列名为“元数据”的嵌套JSON值。我的脚本如下所示，其目的只是将JSON列转换为其每个键值对的普通列。我正在使用Python3 (Anaconda；Windows)。
import pandas as pd
import numpy as np
import csv
import datetime as dt
from pandas.io.json import json_normalize
for df in pd.read_csv("source.csv", engine='c',
浏览 0提问于2018-06-22得票数 3
回答已采纳
我有多个JSON，我正在尝试使用pandas解析这些json，并将数据填充到表中，但由于不同json输出，我面临着“长度不匹配问题”
我有两个儿子。
Json 1
{
"extract":{
"details":{
"name":"John Smith",
"region":null,
"add":"56 Street",
"state":ZL,
"ex
浏览 6提问于2020-05-05得票数 0
1回答
如何将sklearn缩放器应用于pandas数据帧的所有行。这个问题与相关。如何将sklearn缩放器应用于一行的所有值？
注意:我知道对于特性缩放来说，在列中包含特性和按列缩放特性是很正常的，就像refenced问题中那样。然而，我想使用sklearn标度器来预处理可视化数据，在我的例子中，按行扩展是合理的。
浏览 11提问于2019-11-13得票数 1
回答已采纳
我正在尝试使用json_normalize将一些json扁平化成一个熊猫数据帧。当没有null值时，它会按预期工作： import pandas as pd
from pandas.io.json import json_normalize
json = [{"test": 1}, {"test": 2}, {"test": 3}]
df = json_normalize(json)
print(df) 返回： test
0 1
1 2
2 3 但是，如果我将{"test": 3}更改为{&#
浏览 34提问于2020-01-06得票数 1
2回答
我正在尝试迭代文件夹中的json文件，并将它们全部附加到一个pandas dataframe中。
如果我说
import pandas as pd
import numpy as np
import json
from pandas.io.json import json_normalize
import os
directory_in_str = 'building_data'
directory = os.fsencode(directory_in_str)
df_all = pd.DataFrame()
with open("building_data/ro
浏览 11提问于2019-07-20得票数 2
回答已采纳
我正在使用api响应来获取印度pin代码列表以及州，国家和许多名称，这是在邮局字段，我想要专用的数据帧为邮局字段，请帮助 import pandas as pd
import numpy as np
import json
import requests
from pandas.io.json import json_normalize
response = requests.get("https://api.postalpincode.in/pincode/110094")
data = json.loads(response.text)
json_normalize(
浏览 8提问于2020-03-21得票数 0
我正在尝试从以下URL提取详细信息
https://api.covid19india.org/districts_daily.json
我使用了以下代码来提取键和值。
from pandas.io.json import json_normalize
import urllib.request, json
import pandas as pd
from flatten_json import flatten
#from bs4 import BeautifulSoup
pd.set_option('display.max_rows', None)
with urllib.r
浏览 6提问于2020-05-17得票数 1
回答已采纳
我正在尝试将嵌套的JSON转换为Pandas数据帧。我一直在成功地使用json_normalize，直到我遇到了某个JSON。我做了一个小版本来重现这个问题。
from pandas.io.json import json_normalize
json=[{"events": [{"schedule": {"date": "2015-08-27",
"location": {"building": "BDC", "floor": 5},
"
浏览 0提问于2015-08-30得票数 9
回答已采纳
我正在尝试将数据从Draftkings Sportsbook加载到Pandas Dataframe中。不幸的是，在我的尝试中，我只能获得列表的最后一行来填充到Dataframe中。对于如何让它工作，有什么建议吗？
这是我到目前为止所知道的：
import requests
import pandas as pd
import numpy as np
from pandas import json_normalize
from functools import reduce
def parse_data(jsonData):
results_df = pd.DataFrame()
浏览 9提问于2021-05-19得票数 1
各种嵌套字典和数据结构:) 我有一本字典样本- stream= {
"Outerclass": {
"Main_ID": "1",
"SetID": "1041",
"Version": 2,
"nestedData": {
"time": ["5000", "6000", "7000"],
"
浏览 9提问于2020-08-21得票数 0
回答已采纳
1回答
我正在尝试将嵌套的json数据读取到pandas数据帧中。使用以下代码：
deptdata = json.loads(data)
print(pd.DataFrame(json_normalize(deptdata)))
以下输出：
dept branchData
0 Mechanical [{'branch': 'abc', 'sale': 12}]
1
浏览 1提问于2020-04-16得票数 1
我有一个来自json文件的数据集，格式如下： data = {'data': {'content': [{'gender': 'Female',
'id': 'covid-1004200003256',
'state_code': '3272',
'district_code': '3272040',
'subdistrict_code': '3272040004',
浏览 6提问于2020-12-15得票数 3
回答已采纳
我有一个dataframe，其中一列是嵌套字典。我想创建一个函数，您可以在其中传递每一行和一个列名，并创建一个将列json_normalizes到一个数据帧中的函数。然而，我一直在获取和错误‘函数接受2个位置参数，6个被给定’在数据帧中有超过6列，在行col中有超过6列，所以我对如何提供6个参数感到困惑。 import pandas as pd
from pandas.io.json import json_normalize
def fix_row_(row, col):
if type(row[col]) == list:
df = json_normalize(
浏览 17提问于2020-05-01得票数 0
回答已采纳
1回答
在Python中有任何方法将JSON 文本写到一个Excel文件中吗？
通常，我会将JSON响应加载到中，并将数据写入Excel：
import pandas
form pandas.io.json import json_normalize
import requests
def df_to_excel(df, filename):
writer = pandas.ExcelWriter(filename)
df.to_excel(writer, 'Sheet1')
writer.save()
response = requests.get(url
浏览 1提问于2018-11-09得票数 3
回答已采纳
1回答
我想从端点获取数据。将其存储在数据帧中，并将其转换为csv。它会在每个时间间隔后获取数据，但它会不断替换同一行中的值，而不是将所有值存储在csv中。
import requests
import threading
import csv
import json
interval = 3
from pandas.io.json import json_normalize
def myPeriodicFunction():
r=requests.get("https://api.coindesk.com/v1/bpi/currentprice.json").json()
浏览 0提问于2019-07-18得票数 0
我有一个JSON/dictionary对象，它包含从web服务中提取的数据。 import pandas as pd
import json
json1 = json.loads(data_from_webservice)
print(json1)
Out[1]:
{'data':
[
{'Region': 'West', 'Airport': 'LAX', 'Score': 3, 'index': 0},
{'Region': '
浏览 20提问于2019-02-22得票数 0
回答已采纳
我想要将JSON文件转换为数据帧，以便于搜索和定位有用的信息。JSON如下所示： [
{
"testId": "test1",
"testType": [
{
"value": "a",
"startDate": "2019-01-01T08:00:00",
"endDate": "2029-01-0
浏览 7提问于2019-09-12得票数 0
3回答
我正在从一个数据库(JSON行)中读取数据，其中一列被存储为50k+。我想把它提取到一个熊猫数据帧中。下面的代码片段运行得很好，但效率相当低，而且在整个数据库上运行时会耗费很长时间。请注意，并非所有项都具有相同的属性，并且JSON具有一些嵌套属性。
我怎么才能让它更快呢？
import pandas as pd
import json
df = pd.read_csv('http://pastebin.com/raw/7L86m9R2', \
header=None, index_col=0, names=['data'])
浏览 1提问于2016-12-18得票数 24
回答已采纳
1回答
我正在访问一个相当大的json文件系列，并将它们存储在一个pandas系列中，这是一个更大的数据帧的一部分。我希望在上述json中有几个字段，其中一些字段是嵌套的。我一直在使用json_normalize提取它们。中的目标是将这些新字段与我的原始数据帧合并。
我的问题是，当我这样做时，我得到的不是具有J行和K列的数据帧，而是每个元素都是1xK数据帧的J长度序列。我想知道是否有一种有效的矢量化方法将这个嵌套的序列/数据帧转换为常规数据帧，或者从一开始就获取常规数据帧。
我已经使用map/lambda创建了我的嵌套系列。现在我正在使用iteritem/append解嵌，但必须有一种更有效的方法。
浏览 0提问于2019-11-11得票数 0
我有一个数据帧，我应用了groupby方法。现在我有了一个pandas.core.groupby.SeriesGroupBy，但是我不能在它上面使用任何数据帧方法。如何将其转换为可用的数据帧？
type(survivor)
pandas.core.groupby.SeriesGroupBy
通过应用.groups，它看起来像这样：
{'C': Int64Index([ 1, 9, 19, 26, 30, 31, 34, 36, 39, 42,
847, 849, 852, 858, 859, 866, 874, 875, 879, 889
浏览 0提问于2017-10-18得票数 1
我是NiFi和Python的新手，我需要您的帮助才能将Flow File属性值传递给脚本。脚本正在将嵌套的json转换为csv。当我在本地运行脚本时，它可以工作。
如何将FlowFile名称传递给src_json和tgt_csv？
谢谢,
罗莎
import pandas as pd
import json
from pandas.io.json import json_normalize
src_json = "C:/Users/name/Documents/Filename.json"
tgt_csv = "C:/Users/name/Documents/File
浏览 0提问于2019-05-10得票数 2
我有一个尺寸为21392x1972的Python数据帧。我想要完成的是将数据帧转换为列表列表，这样我的数据帧的第一列是长列表中的第一个列表，数据帧的第二列是具有一个长列表的第二个列表，依此类推。 我尝试使用tolist()将数据帧转换为列表列表。现在发生的情况是，我的数据帧的每一行都变成了长列表中的一个列表。但是，我想要完成的是，数据框的每一列都应该成为长列表中的一个列表。我刚开始使用Pandas和Python，所以在这方面的任何帮助都是非常感谢的。干杯! import pandas as pd
mydataset = pd.read_csv('final_merged_data.c
浏览 21提问于2019-01-18得票数 0
回答已采纳
我可以成功地使用pandas.io.json.json_normalize将json对象转换为所需的数据帧格式。但是，一些列似乎没有在数据帧中转换为所需的格式，而是作为列表保留在单元格值中。 from pandas.io.json import json_normalize
df = json_normalize(res['transactions']) 这将为我提供这些df.columns Index(['tradeID', 'tradeOpened.guaranteedExecutionFee',
'tradeOpen
浏览 22提问于2019-09-21得票数 0
我尝试使用json_normalize函数来扁平化JSON数据。在调用函数时，我在Python中得到了这个异常； AttributeError: module 'pandas' has no attribute 'json_normalize' 我使用的是Python 3.8-Azure ML，并使用了这个； from pandas.io.json import json_normalize 我们如何导入它呢？
浏览 570提问于2021-06-15得票数 1
回答已采纳
我有一个非常嵌套的JSON，我正试图使用将其转换为Pandas。
我正在处理的JSON数据的看起来如下所示(我在文章的底部添加了要做的事情的上下文)：
{
"per_page": 2,
"total": 1,
"data": [{
"total_time": 0,
"collection_mode": "default",
"href": "https://api.surveymo
浏览 0提问于2018-11-07得票数 9
回答已采纳
1回答
将数据请求到数据帧中
、、、、
希望你能帮上忙。
我需要将请求数据转换为数据帧，但有一些问题。
到目前为止，我的代码如下所示：
import requests
import json
from pandas.io.json import json_normalize
url = "https://api-football-v1.p.rapidapi.com/v2/teams/league/442"
headers = {
'x-rapidapi-host': "api-football-v1.p.rapidapi.com",
'x-rapidapi-key&
浏览 0提问于2020-03-22得票数 0
我刚接触pandas和python，在这方面遇到了困难。我有一个复杂的nexted json文件，我想把它加载到pandas数据帧中。
我使用了以下代码：
import json
import urllib.request
import pandas as pd
import numpy as np
from pandas.io.json import json_normalize
file_str = 'C:\\file.json'
with open(file_str, 'r', encoding="utf-8") as json_fil
浏览 0提问于2017-01-24得票数 4
我正在使用shapefile，它将属性数据存储在DBF文件中。我需要使用Pandas操作属性，并将新的DBF数据写回磁盘。
不幸的是，Pandas数据帧没有df.to_dbf方法(而R有)。我到处寻找，但似乎没有看到任何明显的方法来完成这项任务。
如何将pandas数据帧保存为DBF文件？
浏览 208提问于2017-07-04得票数 4
回答已采纳
5回答
如何将数组转换为数据
、、、
我以前代码的输出。
from pandas import DataFrame
cursor.execute("SELECT * FROM DOCTOR")
row = cursor.fetchall()
row
如何将数组转换为数据帧。预期输出如下图所示。
如何将数组转换为数据帧。
浏览 8提问于2021-05-27得票数 0
回答已采纳
我在从python中的嵌套json中提取数据时遇到了问题。我想创建一个由"bill“的所有值组成的单列pandas数据框架。 bill
----
a1
a2
a3 使用以下格式的API输出： {
"status": "succeeded",
"travels": [
{
"jobs": [
{
"bill": "a1"
},
{
"bill": "a2
浏览 9提问于2019-03-08得票数 0
回答已采纳
2回答
我一直在尝试将特定键的值存储到pandas数据帧中，该数据帧来自具有字典列表的另一个数据帧。有人能教我怎么做吗？？ source data frame result data frame
浏览 11提问于2021-02-08得票数 0
2回答
我正在尝试使用pandas将嵌套的JSON转换为CSV。我看过这里提出的类似问题，但我似乎不能适用于我的方案。我的JSON如下所示 {
"51% FIFTY ONE PERCENT(PWD)" : {
"ID" : "51%1574233975114-WEBAD",
"contactName" : "",
"createdAt" : 1574233975,
"debit" : 118268.19999999995,
"defaultCompany" :
浏览 23提问于2020-03-20得票数 0
回答已采纳
1回答
我正在尝试使用Python中的pydicom读取DICOM文件，并希望将头数据存储到pandas数据帧中。如何提取用于此目的的数据元素值？
到目前为止，我已经在DICOM文件中创建了一个以列作为标记名的数据帧。我已经访问了数据元素，但我只需要存储数据元素的值，而不是整个序列。为此，我将序列转换为字符串，并尝试将其拆分。但是它也不会工作，因为不同标签的长度是不同的。
refDs = dicom.dcmread('000000.dcm')
info_header = refDs.dir()
df = pd.DataFrame(columns = info_head
浏览 1提问于2019-06-14得票数 2
如何从下面的图中的红线中获取值？ 第二张图：https://plotly.com/python/line-charts/ ? 我的尝试是： import pandas as pd
import numpy as np
import requests
from bs4 import BeautifulSoup
header = {
"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/5
浏览 17提问于2021-10-22得票数 0
回答已采纳
我有一个来自Lambda函数的JSON输入进入AWS Glue Job (python shell)，我需要将其转换为pandas dataframe，该数据帧将被流程的其余部分使用。
输入JSON：
[{"ABC": "123", "CDE": "AB", "locations": [{"state": "FL", "city": "Orlando", "zip": "10001"}]},
{"ABC
浏览 0提问于2020-06-26得票数 0
1回答
也许有人能帮我。我尝试将以下列表展开为一个pandas数据帧：
[{u'_id': u'2',
u'_index': u'list',
u'_score': 1.4142135,
u'_source': {u'name': u'name3'},
u'_type': u'doc'},
{u'_id': u'5',
u'_index': u'list',
浏览 1提问于2016-07-27得票数 2
回答已采纳
在下面的代码中，我得到了一个类型错误"TypeError: string索引必须是整数“。
import pandas as pd
import json
from pandas.io.json import json_normalize
full_json_df = pd.read_json('data/world_bank_projects.json')
json_nor = json_normalize(full_json_df, 'mjtheme_namecode')
json_nor.groupby('name')['
浏览 0提问于2019-04-16得票数 8
回答已采纳
1回答
我正在尝试解压以下pandas数据帧中的嵌套JSON：
id info
0 0 [{u'a': u'good', u'b': u'type1'}, {u'a': u'bad', u'b': u'type2'}]
1 1 [{u'a': u'bad',
浏览 0提问于2016-11-20得票数 6
回答已采纳
我正在尝试将字典的dataframe列扩展到它自己的dataframe/其他列中。我已经尝试过使用json_normalize、迭代和列表理解，但出于某种原因，它只是返回一个空白数据。我已经给我的CSV附加了一个链接。
import matplotlib.pyplot as plt
import pandas as pd
import requests
from pandas.io.json import json_normalize
import seaborn as sns
import json
from google.colab import files
import
浏览 5提问于2022-03-24得票数 1
我有以下嵌套的json：
import requests
headers = {
'Content-Type': 'application/json'
}
r = requests.get("...API DATA...")
[
{
"ticker":"btcusd",
"baseCurrency":"btc",
"quoteCurrenc
浏览 3提问于2020-07-22得票数 0
回答已采纳
4回答
我有这样的JSON：
in_str='''{
"prices": [
[1, 10],
[2, 20],
[3, 30]
],
"total_volumes": [
[1, 100],
[2, 200],
[3, 300]
]
}'''
我正在尝试生成具有3列(id、价格、体积)的pandas数据框架：
1 10 100
2 20 200
3 30 300
我尝试过使用pandas.read_json()，但这给了我两列，我不知道下一步该怎么做
浏览 0提问于2019-12-10得票数 0
我需要将一个有2列和一个索引的JSON字符串转换成一个pandas数据帧，但是我遇到了一个错误，我找不到解决方案。 我尝试用不同方向的orient='columns和orient='index对JSON进行编码，我也标准化了JSON字符串并指定了列名，但仍然有一个错误。这看起来有点棘手，我该怎么做呢？ 这是我使用的字符串： > type(data)
<class 'str'>
> print(data)
{
"2020-04-02T00:00:00.000Z": {
"A": 133.25,
浏览 21提问于2020-04-05得票数 0
回答已采纳
我试图用一个列表数组将一个列拆分为多个列，并创建多个行。以下是样本数据：
signalid monthyear readings
5135 201901 [{"v":"90","q":1,"t":1546444800000,"g":0}]
5135 201901 [{"v":"50","q":1,"t":1546444900000,"g":0}]
5135 20190
浏览 0提问于2019-02-06得票数 1
我有一组字典对象，其结构如下所示：
{'android_id': 'ds cgethcvwrzvbjezrzve',
'app': 'hndbfhjdfhf bnmhjknuihklmmkbghjbtfgjnkluilnkkfbnjtkjzn',
'app_ver': '10.0.1_0',
'at': '2016-02-02 23:59:47',
'birth_date': 1447896843,
'browser': &#
浏览 1提问于2016-02-04得票数 1
回答已采纳
我正在尝试将派生自patentsview API的JSON转换为pandas dataframe。但是，这很困难，因为它似乎是一个嵌套的JSON！
下面是我的代码：
import requests
import pandas as pd
from pandas.io.json import json_normalize
import json
url = 'http://www.patentsview.org/api/patents/query?q={"cpc_group_id":"B60W"}&f=["inventor_first_
浏览 1提问于2018-01-26得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
