我希望将多个列名作为参数传递给dataframe。val readData = spark.sqlContext .option("delimiter",",")
.schema(Schema)withColumn("rnk", row_number().over(Window.partitionBy(s"$cols_list1").orderBy(s"$cols
浏览 3提问于2020-09-08得票数 0
我有一个特殊的问题。我正在尝试使用自动生成的字符串从数据帧中选择一些列。虽然select在我直接传递的情况下可以正常工作，但如果我将相同的表达式放在字符串中并将字符串传递给select，它会失败，并显示错误"Cannot resolve column name if columns它以某种方式在字符串中添加了反引号`，并试图找到完整的字符串</e
浏览 59提问于2021-11-11得票数 0
我知道使用.withColumn()向星火.withColumn()添加新列的方法，以及返回DataFrame的UDF。我还知道，我们可以将结果DataFrame转换为DataSet。我的问题是：
如果我们仍然遵循传统的DF方法(即将列名作为UDF输入的字符串传递)，DataSet的类型安全性是如何发挥作用的？是否有一种“面向对象的方式”来访问列</e
浏览 1提问于2016-11-15得票数 11
回答已采纳
1回答
如何使用吡火花API指定列名的？: REBALANCE Hint parameter should include columns, but id found不使用列引用'pyspark.sql.column.Column'>导入pyspark.sql.functions作为F >>> df.hint(“重新平衡”、F.col("id&qu
浏览 15提问于2022-06-15得票数 0
回答已采纳
Math.atan2(Math.sqrt(a), Math.sqrt(1 - a)) distance我需要为df生成一个新列：joined = joined.withColumn("distance", getDistance("lat", "long", "merch_lat", "merch_long"))从模式中可以看到，所有涉及的</em
浏览 1提问于2019-03-13得票数 1
回答已采纳
我试图添加一个新列来激发数据框架，如下所示：我正在尝试将这个ArrayString作为新列添加到dataframe中，并尝试对新列执行来源= source.withColumn("newcolumn"，sha2(col(Word)，256).cast(StringType))
它已经完成，运行时错误也是我所得到的。线程“主”org.apache
浏览 3提问于2020-04-21得票数 1
回答已采纳
2回答
我有一个字符串列表，这些字符串表示数据帧中的列名。我想将这些列中的参数传递给udf。我如何在spark scala中做到这一点？column_list: List[String] = List("hit_songs","name","genre")
val testudf = org.apache.spa
浏览 0提问于2020-10-28得票数 1
1回答
OS X El Capitan 10.11.6Scala 2.11.8根据我从收到的指令，我已经通过使用成功地将Spark - Scala内核包含到了我的木星笔记本中。toDF("guy", "girl")
但是，当尝试使用Spark - Scala内核在木星中运行时，我会收到以下错误
浏览 14提问于2017-11-06得票数 0
回答已采纳
1回答
我在Scala和spark sql中工作，在那里我想调用UDF，它有多个参数。: org.json.JSONObject, arg1: String, arg2: String = ""): String = {} 我这样称呼它，这里的字段是SeqString，数据列包含udf或其他地方将字符串作为JSONOBJECT传递。我得到以下运行时错误 java.lang.ClassCastException: *******
浏览 17提问于2020-06-19得票数 0
我是很新的火花流。我有一个火花独立2.2运行与一名工人。我正在使用一个套接字源，并试图将传入的流读取到一个名为MicroserviceMessage的对象中。val message = spark.readStream .option("host", host) .toDF("datapoint", &quo
浏览 4提问于2017-12-08得票数 3
回答已采纳
(我需要在上面的查询中的每个列名之前使用' it‘)，我不能在子查询列之前使用'it’作为一个单独的查询，所以如果我不使用任何东西，直接使用列名会导致错误，因为在<ColumnName> could not因此，不起作用的查询是：(这是传递给上面变量的字符串)：
it.Name IN (SELECT Name FROM TableName WHERE Address
浏览 4提问于2010-04-15得票数 2
我的要求是在dataframe.select(columns)中将所有列名的列表作为参数传递，其次，我使用.join来转换- (strList1 = "','".join(list1))等字符串中的列列表，这给了我以下输出
Col1，Col2，Col3，
浏览 2提问于2020-11-18得票数 1
回答已采纳
我试图运行简单的逻辑回归程序在火花。我得到了这个错误:我试图包含各种语言来解决问题，但这并不是解决问题。java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleType现在，我得到了跟踪错误。
java.lang.IllegalArgumentException: Field "features" does not exist.:1
浏览 7提问于2017-06-30得票数 2
在java8中使用Spark-SQL2.4.1v。computed_df.as('s).join(accumulated_results_df.as('f),$"s.company_id" === $"f.company_id","inner")
import static org.apa
浏览 0提问于2019-09-13得票数 0
1回答
我已经能够读取CSV内容(它有大量的JSONS)，但我不知道如何解析/插入到Databricks表中。 "updated_at": { },}df = spark.read \
.option("header&q
浏览 24提问于2022-03-21得票数 0
尝试删除DataFrame中的列，但我有带点的列名，我对其进行了转义。$.withOrigin(TreeNode.scala:53)root |-- hourOfWeek: string (我仍然得到相同的错误
浏览 4提问于2016-03-15得票数 14
回答已采纳
3回答
我正在尝试使用pyspark读取器，其标准如下：
------1,2from pyspark.sql import SparkSession
DDL = "a INTEGER, b INTEGER"
df
浏览 0提问于2019-03-07得票数 10
1回答
present.split(",")(0).split(":")
} 我目前正在使用上面的UDF将字符串列解析为键和值的数组在某些情况下，字符串是"\N“，我无法解析列值。如果字符串是"\N“，那么我应该返回一个空数组。有没有人能帮我处理这个异常，或者帮我添加一个新案例？我是
浏览 22提问于2020-07-24得票数 0
给出了用Spark (2.4.*)以这种方式构建的表：+----+----++----+----+| B| 2|我无法设置列名(实际上是默认的</e
浏览 1提问于2020-07-23得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
