我正在尝试创建一个数据管道，其中我从REST API请求数据。输出是一个嵌套的json文件，这很棒。我想将json文件读入pyspark dataframe。当我将文件保存在本地并使用以下代码时，这可以很好地工作： from pyspark.sql import *
spark = SparkSession", mu
浏览 24提问于2021-07-07得票数 4
回答已采纳
2回答
如何生产熊猫数据行以激发数据
、、、、
嗨，我正在进行转换，我已经创建了some_function(iter)生成器到yield Row(id=index, api=row['api'], A=row['A'], B=row['B']，以生成从熊猫数据格式到rdd的转换行，并激发数据格式。(我必须使用熊猫来转换数据，因为有大量的遗留代码)respond_sdf.show()
+---------
浏览 5提问于2020-12-22得票数 2
回答已采纳
1回答
我希望在这方面提供一些帮助:我正在请求获得一个包含数据的json文件，但我无法打印最终结果，它说“名称'collapse_columns‘是没有定义的”import requestsimport jsonfrom pyspark.sql.types import StructTypewill execute our REST
浏览 8提问于2022-06-14得票数 0
1回答
我很高兴，Spark允许我建立到数据库表的JDBC连接，然后在上面构建转换，直到触发评估为止。我也想用REST连接来做同样的事情。理论上，这将提供一种在逻辑视图中集成DB和API信息的方法。是否有可能将Spark绑定到自定义函数，其中函数使用惰性计算生成的参数调用API？下面是一些要使用的pySpark代码：fin
浏览 0提问于2018-11-29得票数 2
回答已采纳
1回答
我想读一个6gb大小的json (我还有一个1.5GB的json)，我试着和熊猫一起阅读(就用pd.read_json)，很明显记忆消失了。然后，我试着用块状的平面图，就像： df = []
df_reader =pd.read_json(f, lines=True, chun
浏览 1提问于2018-11-21得票数 2
我正在寻找并行加载Google Analytics数据到关系数据库的最有效方法，这些数据以嵌套对象结构表示在JSON文件中，以便以后收集和分析这些统计数据。我发现了可以将嵌套数据扁平化为平面结构的pandas.io.json.json_normalize，还有一个将json转换为数据帧(如所述)的pyspark解决方案，但不确定是否存在性能问题。你能描述一下从Google Anal
浏览 0提问于2019-12-09得票数 0
我正在构建一个数据管道，它使用json格式的RESTApi数据并推送到Spark Dataframe。attribute 'jsonRDD' 代码： from pyspark import SparkConf,SparkContextfrom pyspark import SQLContextspa
浏览 27提问于2020-06-24得票数 2
回答已采纳
1回答
我目前正在处理一些相当复杂的json文件，我应该将它们转换并写入增量表。问题是，当涉及到列的数据类型时，每个文件都有细微的差异。有人能给我解释一下检索嵌套结构列的数据类型的一般方法吗？在互联网上，我只能找到如何对它们做选择：https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/
浏览 42提问于2021-10-22得票数 0
我有一个复杂的嵌套的json文件，我需要一个通用代码，它可以使这个嵌套文件变平，并使用pyspark或大熊猫将结果存储在dataframe中。这是可以实现的吗?它们是否有适用于任何复杂的嵌套json文件的通用代码？
浏览 11提问于2022-08-17得票数 0
我正在PySpark上学习一个视频课程。我试图使用下面的代码将json字符串转换为dataframe。import pyspark as ps meals_dataframe.first()
当tring运行最后一行
浏览 2提问于2017-10-02得票数 2
回答已采纳
我有一封没有回复的电子邮件，每小时都会有一个带有警报的电子表格发送给我，当性能下降时会通知我。表如下所示：是否可以将此电子邮件的正文从Microsoft Outlook调用到R？因此，目前我认为最好的方法是用主题的名字给最近的电子邮件打电话，因为主题永远不会改变。从那里我想操作R中需要的东西，我只是不知道如何将Microsoft Outlook电子邮件的正文连接到R中。任何帮助都是很好的，我知道这是一个奇
浏览 1提问于2016-01-26得票数 3
1回答
我有一个嵌套的JSON字典，我需要将其转换为spark dataframe。此JSON字典显示在数据框列中。我一直在尝试使用"from_json“和"get_json_object”来解析dataframe列中存在的字典，但一直无法读取数据。以下是我一直在尝试读取的源数据的最小片段： {"value": "\u0000\u0000\u0000\u00
浏览 36提问于2021-04-01得票数 1
回答已采纳
我想向挪威统计局的RESTapi提出请求。根据他们的api，我需要发出POST请求(这不是通常的，但没关系)，以获得我需要的表。在POST请求的正文中，我可以用我想要的表格来指定。我得到的是一个JSON-STAT文件。我需要一些关于如何在Azure上处理它的帮助。我读到了ADF在使用REST时只支持JSON的文档。这是否意味着它也支持JSON？
浏览 9提问于2022-10-10得票数 0
如何批量发送数据帧元组到API。headers = { 'Accept': '*/*'r = requests.post('h
浏览 15提问于2019-09-24得票数 0
回答已采纳
1回答
如何将数据帧中的列转换为字符串？
、、、、
我使用了转换为json的api，使用pandas进行了标准化，并使用pyspark转换为dataframe。 但是我不能改变列，无论是表单还是任何东西，我不能选择它们。 我想知道我哪里错了！import requestsimport pandas as pd import os
from pyspark.sql.typesimport DoubleType
浏览 6提问于2020-12-11得票数 0
回答已采纳
我有一个19.4 GB大小的JSON文件。我尝试了很多方法来读取文件。例如：pandas.read_json(filename)简单地使笔记本崩溃。我正在寻找以惰性方式加载文件的方法。例如，一次1 db，然后将其转储到SQLite或neo4j数据库中以分析数据。任何关于这方面的想法都会非常感谢。
浏览 17提问于2021-01-05得票数 0
我正在尝试读取嵌套的JSON文件。我无法分解嵌套列并正确读取JSON文件。My Json file
"Univerity": "JNTU", "DepartmentID": "101",
"import * from pyspark.sql.functions import
浏览 174提问于2021-07-09得票数 0
2回答
我正在测试REST API。每个API使用不同类型的JSON有效负载。我不想手动填写所有的输入。因此，我希望动态生成JSON (例如，从文本文件中读取值并填充JSON结构)，然后将生成的JSON作为请求主体传递到API中。
最好的方法是什么？对工具或插件有什么建议吗？注: JSON结构是嵌套的，非常复杂。
浏览 2提问于2020-04-05得票数 0
我需要将JSON的列表转换为pySpark DataFrames。JSON都有相同的架构。问题是JSON中dicts的值条目有不同的数据类型。例如:字段complex是一个Dicts数组，Dict有四个键，但类型不同(整数、字符串、浮点数和嵌套Dict)。参见下面的示例JSON。如果我使用df = spark.createDataFrame(json_list)从jsons中创建我
浏览 23提问于2022-03-28得票数 0
回答已采纳
1回答
我在从databricks中的Cosmos DB读取项目时遇到了一些问题，它似乎将JSON读取为字符串值，并将数据从JSON中读取到列中。Green", "max": 1000000, }
] 在Cosmos DB中，JSON文档是有效的，当导入数据时，datafra
浏览 29提问于2019-05-13得票数 4
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
