我正在尝试使用带有以下JSON字符串的from_json，并且需要指定一个模式。什么模式与此JSON匹配？[{"key": "value1"}, {"key": "value2"}] 作为一种变通方法，我使用字符串连接将JSON转换为this (即添加数组名称)。但是，应该可以在不更改原始JSON的情况下指定模式。schema = StructType([
StructField("data", ArrayTyp
浏览 9提问于2019-02-02得票数 1
1回答
在Databricks中，我有一列Json数据。我希望在每个记录中读取JSON数据，查找是否存在JSON列，如果存在，我希望更改值并在同一记录列中更新它。能帮个忙吗？JSON：
浏览 2提问于2022-02-16得票数 1
1回答
我试着读取eventhub中的数据，但是结果是它只返回空值。df.toPandas()payload = dfSource_pandas.to_json(orient="records")这是数据的架构import functions as FStringTypei
浏览 9提问于2022-01-05得票数 0
尝试将StringType转换为JSON的ArrayType，以获取从CSV生成的数据。pyspark在Spark2上的应用date,attribute2,count,attribute3来自printSchema()的片段
attribute3: string (nullable = true)
浏览 0提问于2018-08-06得票数 5
回答已采纳
1回答
我有一个包含一个列的 table root我的问题是如何将该列转换为数组数组:T.ArrayType(T.ArrayType
浏览 4提问于2020-07-28得票数 0
我有一个dataframe，其中一个字符串类型列包含了一个项目列表，我想要爆炸，并使它成为父dataframe的一部分。我该怎么做呢？下面是创建示例dataframe的代码：from collections import OrderedDict
| third|Jane|[{"name" : "click...|arg3列包含
浏览 3提问于2019-10-21得票数 3
回答已采纳
这是json文件的内容。\",\"modifiedBy\":\"value24\"}","transactionId": "value25", "tableName": "X2"}]df = spark.read.json('path.json',multiLine=True)
df = df.
浏览 0提问于2019-06-01得票数 0
回答已采纳
我有一个具有以下结构的数据框架： |-- pk: string (nullable = true) |-- tags:string (nullable = true)+--------+---------+----------------------------------------------------------------------------------------------------------------------------+
浏览 4提问于2021-04-13得票数 0
回答已采纳
一个json类型的数据： { "time_series": [ "time": "2020090300
浏览 81提问于2020-09-04得票数 1
回答已采纳
3回答
inputDS.show(false)
-----预期输出数据集outputDS-------"bar" |inputDS.select(explode(from_json(col("value"), ArrayType(StringType))))org.apache.spark.sql.
浏览 4提问于2017-10-09得票数 3
回答已采纳
1回答
myp...| 1992| M| true|我需要从user列中提取一些元素，并且我尝试使用pysparkfrom pyspark.sql.functions import explode
当我尝试这样做时，会遇到以下错误，而不是所需的列表。import pyspark.sql.functions as f
df2 =
浏览 1提问于2022-02-09得票数 1
回答已采纳
要求:我需要在Spark (执行转换)中处理来自Kafka ( JSON格式)的流数据，然后将其存储在数据库中。我有JSON格式的数据，比如{"a": 120.56, "b": 143.6865998138807, "name": "niks", "time": "2012-12-01 00:00:09"}data = spark.readStream.
浏览 1提问于2017-04-08得票数 1
conf = SparkConf().setAppName("PySpark").setMaster("local")sqlContext|[[[index, integer...|
+--------------------+--------------------+ 如何使用我自己创建的模式提取数据。我的模式代码是： from pyspark.sql.types import ArrayType, St
浏览 41提问于2020-08-05得票数 0
回答已采纳
1回答
我需要转换一个拼花文件的内部结构。root -arrayroot -struct我为新结构定义了一个架构： [ Struct
浏览 0提问于2018-04-02得票数 1
回答已采纳
7回答
我有一个由一个名为json的列组成的pyspark，其中每一行都是一个json的unicode字符串。我想解析每一行并返回一个新的dataframe，其中每一行都是解析的json。.map(lambda x: json.loads(x))new_df = sql_context.createDataFrame(rdd, schema)但我得到的是同样的从的角度来看，用flatMap平平行在这里可能很
浏览 25提问于2016-12-12得票数 56
回答已采纳
2回答
)的大小。我试过： from pyspark.sql.types import StructType, StructFieldschema = StructType( StructField('a_id', StringType(), True) )
import
浏览 4提问于2020-07-24得票数 1
我尝试通过schema_of_json函数从类似json的字符串中推断出一个模式，然后使用该模式通过from_json函数将该字符串值格式化为结构。我的代码是dfTemp = readFromEventHubs()
df= dfTemp.withColumn("col1",string literal or output of the schema_of_json function instead of schemaofjson
浏览 0提问于2019-12-04得票数 2
1回答
我想声明一个返回2个1维数组或1个2维数组的udf (两个都是很好的例子)。我知道这适用于1D：然而，我已经尝试了许多变体，比如下面这些，但都没有成功：@udf("array<
浏览 4提问于2019-01-30得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
