在pyspark的一行中解析多个json_PySpark:解析多个JSON并知道哪个文件指向哪一行_无法在具有多个json对象的python中解析json文件 - 腾讯云开发者社区

python、json、apache-spark、pyspark

在一行中有多个json。我需要将额外的json json对象"{"test":"valid2"，" workflowId ":79370，" email ":"d1@example.com"}“与所有/任何事件json关联起来，只要额外json的workflowId和email与事件的</e

浏览 36提问于2021-09-27得票数 2

1回答

将JSON有效负载拆分为多行

python、json、pyspark

我需要在多个JSON有效负载记录中在文件中的一行中生成记录(在文件末尾没有新的行字符，精确的JSON记录太长，无法在这里添加)。示例: sample.json (从源接收){复数-json-记录1}，{complex-json-2}，{complex-json-3}，{complex-json-4}.有没有办法

浏览 4提问于2021-12-07得票数 0

1回答

从PySpark中的列加载XML字符串

apache-spark、xml-parsing、pyspark、spark-dataframe

我有一个JSON文件，其中一列是XML字符串。tr = spark.read.json( "my-file-path") tran

浏览 1提问于2016-11-06得票数 3

1回答

在PySpark* -模式问题中展开json列- AttributeError：'tuple‘对象没有属性'name’*

python、json、apache-spark、pyspark、apache-spark-sql

我正在使用pyspark从mutli行json对象中提取数据。我能够在文件中读取，但无法解析几何图形列的内容。+--------------------+--------------------+-------+ 这是json几何列的一行的格式。StructField("coordinates",ArrayType(DoubleTy

浏览 2提问于2021-11-11得票数 1

1回答

通过Python客户端库上传多个文件到Google云存储

google-cloud-platform、google-cloud-storage、google-cloud-dataproc、google-cloud-python

GCP python文档有一个具有以下功能的脚本： """Uploads the PySpark file in this directory to the configured blob = bucket.blob(fil

浏览 3提问于2017-09-20得票数 1

5回答

如何在一个字符串中读取整个文件

json、apache-spark、apache-spark-sql

我想读取pyspark.lf格式的json或xml文件我的文件被分成多行输入" employees": { "lastName":"Doe" { ]输入分布在多行中

浏览 2提问于2015-05-26得票数 10

1回答

使用Pyspark将文件从一个目录移动到HDFS中的另一个目录

python、apache-spark、pyspark、hdfs

我试图从一个目录中读取所有JSON文件，并使用下面的代码将它们存储在中。(效果很好) 但是，当我尝试用多个文件保

浏览 1提问于2021-01-18得票数 0

回答已采纳

2回答

有没有办法在pyspark中逐个访问数组(Struct)中的多个JSON对象

json、apache-spark、dataframe、pyspark、pyspark-sql

我对pyspark和json解析还是个新手，我被困在了某些特定的场景中。让我先解释一下我要做什么，我有一个json文件，其中有一个数据元素，这个数据元素是一个包含另外两个json对象的数组。:意思是迭代到json的第一个对象，将其存储到一个dataframe中，然后迭代到第二个对象，并将其存储到另一个dataframe中，然后对它们进行完全连接或任何类型的连接。(

浏览 142提问于2019-06-05得票数 0

回答已采纳

2回答

星火read.json抛出java.io.IOException:换行符前的字节过多

json、apache-spark、pyspark、spark-dataframe、bigdata

在读取一个大的6gb单行json文件时，我得到了以下错误：spark不使用新行读取json文件，因此整个6 gb的json文件位于一行上： jf = sqlContex

浏览 12提问于2016-03-14得票数 4

回答已采纳

1回答

Pyspark将Json转换为DF

pyspark、apache-spark-sql

我有这个文件.json，我需要把它转换成DF格式，文件是这样的： "id": "517379", "company

浏览 0提问于2021-07-31得票数 0

1回答

PySpark:解析多个JSON并知道哪个文件指向哪一行

json、pyspark

我正在用spark.read.json("/mnt/folder/2020/October/*/*.json")解析多个JSON文件，这将返回一个DataFrame，其中包含从所有这些JSON文件聚合而来的信息如何知道包含特定行中信息的JSON文件的路径？我在文档中搜索read.json</e

浏览 10提问于2020-10-12得票数 0

回答已采纳

1回答

使用Pyspark处理具有不同JSON模式行的单个数据集

python、json、apache-spark、pyspark、databricks

我使用的是PySpark，我需要处理附加到单个数据帧中的日志文件。大多数列看起来都是正常的，但其中一列在{}中有JSON字符串。基本上，每一行都是一个单独的事件，对于JSON字符串，我可以应用单独的Schema。但我不知道在这里处理数据的最好方法是什么。示例： ? 这个表稍后将帮助我以所需的方式聚合事件。它成功地在单个列中

浏览 15提问于2021-09-01得票数 0

1回答

将一个函数应用到多个文件中，将数据加载到

python、pyspark

我有许多结构混乱的JSON文件。我想把这些解析成一个PySpark DataFrame。我编写了一个解析函数，并希望将其应用于目录中的每个文件，并将其输入到我的DataFrame中。我对PySpark完全陌生，所以任何帮助都是非常感谢的。我曾希望我能做一些事情来达到这样的效果： data_files = [...] #

浏览 4提问于2022-02-28得票数 0

回答已采纳

2回答

火花:如何解析嵌套列表的JSON字符串以激发数据框架？

python、apache-spark、pyspark、apache-spark-sql

如何解析嵌套列表中的JSON字符串以激发pyspark中的数据帧？|+---------------------------------------+import pysparkimport pyspark.sql.functions as F spark = (pyspark.sql.SparkSession.bu

浏览 1提问于2021-02-08得票数 2

回答已采纳

1回答

/sql/dataframe.py中的 ValueError跟踪(最近一次调用)->1 tr_df.head(5) 在head(self，n) 1250 rs = self.head(1) 1251返回在_parse_datatype_json_value(json_value) 884 tpe = json_value"type“885 if tpe in _all_complex_types中：/<em

浏览 3提问于2019-09-26得票数 0

回答已采纳

1回答

Spark解析器JSON仅由数组和整数组成

json、apache-spark、pyspark

我有一个包含一行的文件我认为这是一个有效的json文件，我想在Spark中读取它，所以我尝试了df.head()在我看来，Spark无法解析此文件，我希望Spark

浏览 3提问于2017-01-31得票数 1

回答已采纳

1回答

Pyspark结构化流处理

apache-spark、pyspark、spark-structured-streaming

我正在尝试用spark做一个结构化的流媒体应用程序，主要思想是从kafka源读取，处理输入，写回另一个主题。我已经成功地让spark读写了kafka，但是我的问题出在处理部分。我尝试过foreach函数来捕获每一行并在写回kafka之前对其进行处理，但是它总是只做foreach部分，而不会写回kafka。但是，如果我从writestream中删除foreach部分，它将继续写入，但现在我丢失了处理。spark = SparkS

浏览 37提问于2019-07-17得票数 0

回答已采纳

1回答

我是否需要使用普通的python，除了pyspark，或者pyspark拥有我所需要的所有东西？

hadoop、machine-learning、pyspark、cloudera

我的公司正转向使用Hadoop & learning进行机器学习。我知道python在库中是非常全面的，但是当我们切换到pyspark时，如果我们需要的东西还没有在pyspark中可用呢？而且，继续使用python可能更容易一些，因为我已经知道了python.So：你能把它们混合在一

浏览 4提问于2017-08-30得票数 0

1回答

在pySpark中解析高度嵌套的JSON

apache-spark、pyspark

我试图解析/读取中嵌套的JSON。这甚至在pyspark推断模式或当我将模式传递给它时也会失败。本身无法解析架构并抛出以下错误。", line 274, in json我确实尝试过传递我自己的模式，如下所示c1_schema= StructType([

浏览 6提问于2021-05-11得票数 0

1回答

PySpark 1.6.1 DataFrame.write.parquet作业未完成

python-2.7、dataframe、pyspark、parquet

我有这样的代码： '/tmp/test' , 'overwrite',这是它的模式： |-- M: string (nullable = true)它被卡在这一行中/pyspark/sql

浏览 2提问于2017-12-21得票数 2

回答已采纳

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云