在连接Spark数据帧时使用过滤条件: Spark/Scala

文章/答案/技术大牛

发布

1回答

scala、apache-spark、apache-spark-sql

有人可以建议我如何使用过滤器，同时加入2个数据帧在星火规模。我正在尝试下面的代码。

浏览 14提问于2020-05-18得票数 0

回答已采纳

2回答

基于两个条件spark和Java的筛选列

java、apache-spark-sql

我试图在我的数据帧上添加一个过滤器，由于某些原因，||条件在Java中不起作用，它在Scala中工作得很好。代码甚至不能编译。在java中如何在过滤条件中使用||运算符The operator || is undefined for the argument type(s) org.apache.spark.sql.Column, org.apache.spa

浏览 6提问于2018-08-01得票数 0

回答已采纳

2回答

Spark SQL过滤多个相似字段

apache-spark、apache-spark-sql

有没有更好的方法在spark数据帧上编写多个条件的过滤器，这些条件在本质上是相似的。假设df是具有时间戳列t1、t2、t3、t4的spark数据帧。因为我是scala的新手，所以我还不知道用scala编写代码的最佳实践。感谢任何人的帮助。

浏览 43提问于2019-01-19得票数 0

3回答

Spark异常“无法广播大于8 8GB的表”，'spark.sql.autoBroadcastJoinThreshold'：'-1‘不工作

apache-spark、pyspark、apache-spark-sql、broadcast、pyspark-dataframes

在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException$$anonfun$withExecutionId$1.apply(SQLExecution.scala:101) at org.apache.spa

浏览 752提问于2020-04-22得票数 0

1回答

数据帧的scala* joinWithCassandraTable结果*

apache-spark、cassandra、spark-cassandra-connector

我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来，获取结果并将其存储在hive表中。我正在使用joinWithCassandraTable加入cassadra表。] = CassandraJoinRDD[17] at RDD at CassandraRDD.scala:19 我尝试了以下步骤来转换为数据帧，但所有

浏览 20提问于2020-07-17得票数 0

1回答

如何在pyspark中使用azure-sqldb-spark连接器

azure、apache-spark、pyspark、spark-jdbc

我想每天写大约10 GB的数据到Azure SQL server DB，使用PySpark.Currently，使用JDBC driver，这需要花费数小时逐个制作insert语句。我计划使用azure-sqldb-spark连接器，它声称可以使用批量插入来加速写入。import com.microsoft.azure.sqldb.<e

浏览 2提问于2018-10-27得票数 7

4回答

Spark在spark数据帧where子句中指定多个逻辑条件

scala、apache-spark、apache-spark-sql

在spark scala dataframe中定义多个逻辑/关系条件时，得到下面提到的错误。但同样的事情在scala中也能正常工作df2=df1.where(((col('a')==col('b')) & (abs(col('c')) <= 1)) | ((col('aa") eq col("b")) & (abs

浏览 12提问于2019-08-02得票数 0

1回答

在分流之前在spark中进行缓存

apache-spark、apache-spark-sql、apache-spark-2.0

我有一个关于使用Spark DataFrame的基本问题。evaluation yet* // Write out subdf2 假设我从主数据帧开始(我懒惰地从CSV中读取)，对这个数据帧做一些操作(过滤，分组，连接然后，我继续对这些子数据帧进行操作(让我们将它们命名为subdf1, subdf2)，并最终写出子数据

浏览 23提问于2021-02-12得票数 1

回答已采纳

3回答

在写入dataframe - pyspark之前从表中删除记录

sql-server、pyspark、apache-spark-sql、pyspark-dataframes、aws-glue-spark

在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver

浏览 172提问于2020-10-14得票数 1

回答已采纳

1回答

Spark dataframe筛选器最小值(列)失败

scala、dataframe、apache-spark

我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。scala> val dtfAbnoFirs=dtfAbno.filter("AAA>='20201201' and BAQ<>'0'").scala> dtfBaseEsti.show(10,false); org.apache.

浏览 34提问于2021-04-08得票数 0

回答已采纳

1回答

过滤Vector类型的"features“列

apache-spark、apache-spark-sql

我正在开发一个程序，在该程序中，我需要根据特定条件显示数据集中的特定行。这些条件适用于我为机器学习模型创建的features专栏。这个features列是一个向量列，当我试图通过传递一个Vector值来过滤它时，我得到了以下错误： Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class org.apache.spark.ml.linal

浏览 1提问于2017-07-07得票数 2

1回答

基于可用值的多列Scala* Spark数据帧过滤器*

scala、apache-spark、apache-spark-sql

我需要用下面的条件过滤一个数据帧。我有2列4Wheels(斯巴鲁，丰田，通用，空/空)和2Wheels(雅马哈，哈雷，印度，空/空)。我必须过滤4Wheels的值(斯巴鲁，丰田)，如果4Wheels包含空/空，那么过滤2Wheels的值(Yamaha，Harley) 我在不同的例子中找不到这种类型的过滤。我是spark/scala的新手，所以没有足够的想法来实现它。谢谢，巴

浏览 12提问于2021-08-19得票数 0

1回答

如何根据另一个数据帧过滤一个spark数据帧

scala、apache-spark、apache-spark-sql、spark-dataframe

我正在尝试过滤一个数据帧与另一个数据帧：另

浏览 2提问于2015-09-19得票数 15

回答已采纳

1回答

spark-cassandra-connector -从Dataframe创建表格- StructType？

apache-spark、cassandra、spark-cassandra-connector

我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作： |-- id: string (nullable = true)但是，当我尝试编写包含StructTypes的数据帧时，其模式如下： |-- crawl: struct (nullable = true) | |-- id:

浏览 4提问于2016-06-27得票数 1

1回答

如何在Spark* cosmosdb连接器中传递"WriteThroughputBudget“配置*

apache-spark、azure-cosmosdb

我正在使用spark cosmosdb连接器将数据批量写入cosmosdb容器。因为这是批量上载/写入，并且有读取操作在同一时间发生。我想通过spark连接器限制写操作使用的RU。根据连接器的wiki，我发现配置WriteThroughputBudget可以用来限制写RU的消耗。我尝试在write dataframe中使用option设置此配置，如下所示 inputDat

浏览 1提问于2020-12-03得票数 0

2回答

Spark:与数组的连接条件(可为空)

scala、apache-spark、join、apache-spark-sql、azure-databricks

我有2个数据帧，我想连接它们并过滤数据，我想过滤import org.apache.spark.sql.functions.exprimport spark.implicits._ val jsonstr

浏览 0提问于2020-05-08得票数 0

1回答

Pyspark无法连接到executor

apache-spark

我对apache-spark有个问题。我使用的是yarn客户端模式。", "8")这是我的代码：我有两个数据帧，df和other_df。我首先内连接两个数据帧，得到一个基于ID的过滤后的数据帧，然后进行聚合，计算出每月CA的平均值(df

浏览 4提问于2016-01-06得票数 0

1回答

Spark scala谓词下推和分区在处理和存储方面的区别是什么

scala、apache-spark

我正在使用数据帧，并且我遇到了这些术语。如果可能的话，我不能完全理解它们，你能在这两个方面都举一个例子吗？

浏览 8提问于2020-05-07得票数 0

1回答

DataFrame对象未显示任何数据

hadoop、apache-spark、apache-spark-sql、spark-dataframe、spark-csv

我试图使用spark csv lib在hdfs文件上创建一个dataframe对象，如所示。但是当我尝试获取DataFrame对象的计数时，它显示为0employee.csv：1000,Tom我使用以下命令加载了上述文件： val empDf = sqlContext.read.format("com.databricks.spark.csv").option("header"

浏览 1提问于2016-08-09得票数 0

回答已采纳

1回答

Spark Structured来自Cassandra

apache-spark、cassandra

我使用结构化数据流从Kafka流式传输数据 .readStream .option("kafka.bootstrap.serversTrigger.ProcessingTime(5 seconds)) .start但是，当我尝试将数据帧</

浏览 0提问于2018-11-16得票数 1

点击加载更多