我定义了下面的spark模式 new StructFieldstate:{version:19,value:"approved"}}]}}");Dataset<Row> df = spark.sqlContext代码给出了以下错误
The value ({cr:{cmg:[{cid
浏览 128提问于2021-06-07得票数 1
回答已采纳
尝试将我的spark scala项目转换为spark-java项目。val dataframe1 = ....///read dataframe from text file.
public static final Logger logger = oggerFactory.getLoggerdatafram
浏览 38提问于2019-04-19得票数 1
回答已采纳
我正在尝试从外部文本文件中读取dataframe模式，并使用它创建一个dataframe。但是，我无法理解如何将字符串转换为StructType。String struct2 = br.readLine();
session.sqlContext().read().schema(struct2).json("C:\\Users\\kt799f\\Desktop\\
浏览 0提问于2019-07-17得票数 0
1回答
我编写了将字符串转换为结构数组的代码。我也想在python上做同样的事情。你知道我该怎么做吗？import org.apache.spark.sql.DataFrameimport org.apache.spark.sql.Columnval df: DataFrame = Seq(
"adserviceCalculateCpcAlgorithmV1:2;searchProd
浏览 3提问于2022-08-02得票数 0
回答已采纳
4回答
我需要在这些DataFrame上执行RDD操作。是否可以执行map、flatMap等RDD操作。下面是我的示例代码：这是我的dataframe，我需要将这个dataframe转换成RDD，并在这个新的RDD上操作一些RDD下面是我如何将dataframe转换为RDD的代码
RDD<Row> java = df.select("COUNTY&quo
浏览 2提问于2016-12-14得票数 0
我想在scala spark中从CSV/DataFrame创建一个嵌套的XML。我使用Databricks spark-XML库将DataFrame转换为XML格式。我尝试创建如下所示的输出，但无法实现<row></row>我尝试过使用struct
{"_
浏览 15提问于2018-02-23得票数 0
回答已采纳
如何在dataframe spark 1.6中将字符串转换为date或int。我想将我的数据分组为1/10/100年，dataFrame有列"dt“- java的字符串编码示例：我该怎么做呢？
浏览 1提问于2018-07-10得票数 0
1回答
sc <- spark_connect(master = "local", config = conf, version = '2.2.0') # Connection
sample_tbl <- spark_read_json
浏览 0提问于2018-09-10得票数 0
3回答
如何将数据类型为struct的列转换为Map或String。这是一个模式： |-- Col1: string (nullable = true) | |-- _1: string(nullable = true)当我想将dataframe转储到文件中时，第二列出现了问题。我尝试过许多不同的方法，比如转换为strin
浏览 0提问于2019-07-31得票数 0
回答已采纳
在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。如果对每一行进行字符串化，则它们是Map("a" -> 1, "b" -> 1)或WrappedArray(1, 2, 2)。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
我使用以下方法将数据从Pyspark插入到Cassandra：在我插入的变量中，还有时间如果我试图发送：'16:51:35.634652‘而我收到了以下错误：
com.datastax.spark.connector.types.TypeConversionException:不能将类型为java.lang.String的对象16:51:35.634652转换为<e
浏览 3提问于2020-06-11得票数 1
回答已采纳
出于某种原因，我正在尝试将数据帧(带有嵌套的structTypes)的所有字段转换为字符串。{Row, SparkSession} import org.apache.spark.sql.functions(rows1Rdd, schema1)
df1.printSchema()
如果我们打印创建的d
浏览 14提问于2018-07-25得票数 2
回答已采纳
我尝试了几个版本，在所有的版本中，我都有一个DataFramedataFrame.printSchema()的打印输出是 |-- SensorId: string (nullable = true) | |-- oid之后，我希望将列'gen_v
浏览 1提问于2017-10-25得票数 3
回答已采纳
我试图在Dataframe中转换json文件，但我被困在基于数组的字段中。我使用的是Spark 1.6和Java。当我读取嵌套的Json并转换为Dataframe时，我可以读取一些字段，但当我尝试输入特定路径时，会显示错误。DataFrame df = spark.read().json(sc.wholeTextFiles("PATH").values()); 我正在读取一个json文件。$AnalysisErrorAt.failAnalysis(p
浏览 29提问于2019-09-11得票数 0
2回答
按照的描述，我正在从Mongo加载一个bson转储到Spark中。它是有效的，但我得到的是：它基本上应该是包含所有String字段的JSON。我的其余代码需要一个DataFrame对象来操作数据。但是，当然，toDF在该RDD上失败了。如何将其转换为所有字段均为String的Spark DataFrame？如果能有类似于spark.read
浏览 1提问于2016-10-04得票数 1
1回答
火花结构化流:将行转换为json
、、、、
我试图仅使用spark将Row of DataFrame转换为json字符串。-+-----------++----------------+-----------+myDataFrame
.select(struct
浏览 3提问于2017-10-16得票数 5
回答已采纳
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。Json文件保存了代理详细信息，Spark读取这个Json输入并将值赋值给变量。这些变量为带有字符串的Dataframe类型。当我将dataframe传递给Pyspark连接细节以替换值时，我将面临问题。只能将字符串(不是Dataframe</
浏览 0提问于2021-03-05得票数 0
我知道如何使用Kafka主题中的数据，但我无法在正确的列中获得正确的数据。我在想我可以用这个功能：但我无法在准确的列中得到准确的数据
浏览 0提问于2021-11-09得票数 0
回答已采纳
如何在spark数据帧中转换结构数组？import org.apache.spark.sql._下面是创建的dataframe的模式：
浏览 3提问于2018-08-01得票数 4
回答已采纳
subject": "math", "year": 2017}]}"
ds.printSchema() |-- value: string (nullable = true)name | address | docs "bar&
浏览 3提问于2017-10-07得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
