我正在尝试解析JSON并使用Python Spark向DataFrame添加一列：其中<code>D1</code>是具有以下结构的JSON字符串：我想提取<code>D3</code>字段的值，并将其添加到<code>D5</code>
浏览 2提问于2019-03-26得票数 0
0回答
我有很多json文件，但是它们的格式不适合Spark。我不想编写代码来专门将它们转换为正确的格式，通过规范化每一行上的每个字典。import json
df = sc.wholeTextFiles(os.path.joi
浏览 1提问于2016-07-05得票数 0
回答已采纳
1回答
我正尝试在spark (pyspark)环境中使用JSON文件。问题:无法将JSON转换为中的预期格式
在该文件中，元数据是在带有标记"meta“的文件的起始位置定义的，然后是带有标记" data”的数据。另外，使用spark本机JSON实用程序-- Spark自动推断模式(meatadata) --我的</
浏览 2提问于2018-03-21得票数 2
回答已采纳
我使用Livy REST API提交Spark应用程序。我希望my_conf (json secrets)存储在AWS SSM参数存储中，并在我使用Livy的python脚本提交spark应用程序时从参数存储中使用它。如何向/从参数存储中存储和获取(在python中获取相同的json) my_conf
浏览 0提问于2020-02-21得票数 1
我需要编写一个SQL查询，该查询将接受存储在表列中的JSON，并只返回数组元素。问题是我不能为此使用JSON解析器，因为它是SQL。我想我得用regex做这件事。这是存储在SQL中的Json
{"IsPrimary":false，"Address":"test@test.com"，"Type":"Other&q
浏览 3提问于2013-11-06得票数 1
sqlContext.read.json("...path.to.file...")我正在做一个JSON解析的，所以这里的性能很重要。
浏览 4提问于2017-01-03得票数 0
回答已采纳
2回答
from pyspark.sql.types import StringType
我的理想结果如下：| dic||{"_id":3,"_name":"zzz"}|
+-----------
浏览 2提问于2021-02-18得票数 0
我创建了一个带有JSON格式记录的Kafka主题。.from-beginning \ --consumer.config /root/client.properties
我如何使用Python中的Spark流来实现这一点？
浏览 5提问于2017-05-24得票数 1
回答已采纳
将这些设置为火花-env.shexport PYSPARK_PYTHON_DRIVER=python3spark.version2.4.3python3python3
使用apache箭头集成运行基本pandas_udf会导致错误。$$anon$1.read(ArrowPythonRunner.scala:1
浏览 2提问于2019-08-01得票数 4
回答已采纳
1回答
正如关于的文章中所建议的那样，声明的模式有助于早期发现问题。表列上的注释被视为模式中的差异。'""")
这将在AnalysisException中失败:指定的模式与/my_table_lo
浏览 2提问于2021-04-28得票数 2
我有一个文件存储一些命令，如下所示：上面的命令只有在附加了文件名(例如file.py)时才会运行。所以，如果我要在命令行<
浏览 0提问于2018-04-23得票数 0
我需要从提供REST接口的web服务中读取一些JSON数据，以便从我的SPARK SQL代码中查询数据进行分析。我能够读取存储在blob存储中的JSON并使用它。我想知道从REST服务读取数据并像使用任何其他DataFrame一样使用它的最佳方式是什么。顺便说一句，如果有帮助的话，我正在使用SPARK 1.6 of Linux cluster on HD insi
浏览 4提问于2016-05-09得票数 12
回答已采纳
1回答
TL;DR：当我将火花DataFrame抛出为json时，我总是以这样的方式结束{"key1": "v12", "key2": "v22"}这是无效的json。
浏览 0提问于2018-01-29得票数 5
回答已采纳
我正在使用databricks，我有一个repo，其中我有一个基本的python模块，在其中我定义了一个类。我能够从databricks笔记本中导入和访问这个类及其方法。模块中类中的一个方法如下(简化) self.df = spark.read.format("json").load(f"{self.base_savepath}/{self
浏览 3提问于2022-07-21得票数 1
回答已采纳
我是OLAP和SnappyData的新手。我的问题非常具体。我想知道在哪里可以阅读关于OLAP查询的SnappyData‘列’查询语言的进一步文档。也许这是一个行业标准。为了澄清问题，我查看了QuickStart脚本，并试图理解olap_queries.sql中的列表、航空公司和查询。airlineref.Code order by arrivalDelay;
我想了解像'description
浏览 1提问于2016-07-28得票数 0
回答已采纳
我在PySpark中读取AWS Glue作业的数据时遇到问题：火花遗物DataFrame
# import from legac
浏览 1提问于2020-06-11得票数 4
回答已采纳
1回答
PySpark与and解析
、、、、
这是我的测试脚本：from pyspark.sql import SparkSession
parser = argparse.ArgumentParserparser.add_argument("--v2", "-b", type=int, default=3)
sparkfile.py)时，它使用参数解析器中的
浏览 0提问于2020-04-27得票数 2
回答已采纳
我正在尝试将所有杂货店的文件读取到RDD中。目标是为给定的杂货店找到最近的500家商店，并进行一些处理。例如，如果一个商店被取走了，我就必须找到那个城市的所有商店。如果我在RDD上进行映射，我会将单个存储映射到transform函数。如何获取该函数中的所有商店。stores.filter("city="+store.city)stores = s
浏览 15提问于2018-02-08得票数 1
我正在尝试从notebook连接到redshift，到目前为止我已经完成了以下操作-"customDeps": [ "com.databricks:spark-avro_2.11:3.2.0",
"com.databricks:spark-csv_2.11:1.5.0我也注意到了另一个依赖项的</em
浏览 7提问于2017-08-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
