Spark SQL更新/删除

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、apache-spark-sql、pyspark-sql、pyspark-dataframes

目前，我正在做一个使用pySpark的项目，它读取一些Hive表，将它们存储为数据帧，并且我必须对它们执行一些更新/过滤。我正在不惜一切代价避免使用Spark语法来创建一个框架，该框架只接受参数文件中的SQL，该参数文件将使用我的pySpark框架运行。现在的问题是，我必须在我的最终数据帧上执行更新/删除查询，是否有任何可能的工作来在我的数据帧上执行这些操作？非常感谢!

浏览 7提问于2019-11-15得票数 1

2回答

外部配置单元表刷新表与MSCK修复

apache-spark、hive、hivecontext、hive-partitions

我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。

浏览 8提问于2018-08-07得票数 13

1回答

可以广播Spark Context吗？

apache-spark

我在一个场景中工作，我想广播Spark上下文，并将其放在另一边。有没有可能用其他方式？如果没有，有人能解释一下原因吗？任何帮助都是非常感谢的。要读取这个文件，我需要sc.readfile，所以我尝试将spark上下文广播给executor，以便并行读取输入文件。目前我们正在使用HDFS读取文件，但不会并行读取，对吗？

浏览 7提问于2017-01-24得票数 0

2回答

使用Spark SQL删除/更新行

apache-spark-sql

我想删除现有行并用新行更新。我们可以使用Spark SQL从数据库中删除或更新行吗？

浏览 0提问于2017-06-15得票数 0

2回答

在Notebook上使用pyspark从表中删除行

apache-spark、pyspark、pyspark-sql、databricks

我正在Databricks notebook上编写pyspark脚本来插入/更新/查询cassandra表，但是我找不到从表中删除行的方法，我尝试了spark sql： spark.sql("DELETEfrom users_by_email where email_address IN ('abc@test.com')") 我也不认为使用dataframe删除数据是可能的。

浏览 25提问于2019-12-17得票数 0

回答已采纳

2回答

delta lake - Insert in pyspark : java.lang.NoSuchMethodError: delta lake-Insert Insert is sql in pysparkjava.lang.NoSuchMethodError:delta lake-Insert Insert is with java.lang.NoSuchMethodError:delta lake-Insert is sql

apache-spark、pyspark、databricks、google-cloud-dataproc、delta-lake

--conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \ --conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog 执行命令以创建增量表并插入到增量sql中： spark.sql(

浏览 34提问于2021-02-09得票数 4

1回答

Aws Emr Spark使用胶水作为蜂巢转移？

apache-spark、hive、amazon-emr、aws-glue、aws-glue-data-catalog

("testDb")spark.sql("MSCK REPAIR TABLE test_table":3370) at org.apache.spark.sql.execution.SQLExecution$.org$apache$spark$sql$execution$SQLExec

浏览 18提问于2020-08-17得票数 0

回答已采纳

5回答

Spark jdbc覆盖模式未按预期工作

apache-spark、pyspark、apache-spark-sql、aws-glue

并使用模式覆盖向目标写入 .option("url", "jdbc:mysql://localhost/test") .option("dbtable","temptgtUpdate") .option("password

浏览 3提问于2020-05-10得票数 0

5回答

我是spark.Is的新手，不管怎么说，我可以在spark-SQL中操作更新命令。我已经创建了一个hive表，我已经在其中操作了一些SQL语法查询，如insert、select、delete，但无法运行update命令。我已经在spark文档和网站上搜索过了。但是我没有在他们最近的Spark SQL列表中找到UPDATE Syntax。请帮帮我，我用的是spark 2.0 卡里安

浏览 27提问于2016-08-09得票数 2

2回答

通过对现有行执行GROUP by来更新表SPARK - SQL？

mysql、apache-spark、apache-spark-sql

我使用MySQL作为我的存储引擎来保存Spark SQL中的表。72|2017-09-08|+-------------+----------+ 我希望通过使用GROUP by添加计数并删除单个行来更新表如果可能的话，如何使用Spark SQL实现它？

浏览 3提问于2017-09-10得票数 2

2回答

apache sql表覆盖问题

apache-spark-sql、azure-databricks

错误消息： org.apache.spark.sql.AnalysisException: Can not create the managed table newtable.

浏览 34提问于2020-09-10得票数 5

1回答

Cassandra DSE Spark应用程序maven构建错误

scala、maven、apache-spark、cassandra、spark-cassandra-connector

package com.sparkimport org.apache.spark.SparkConfimport org.apache.spark.sql._ import org.apache.spark.sql</

浏览 0提问于2018-03-12得票数 1

回答已采纳

3回答

Spark SQL中的更新查询

apache-spark、apache-spark-sql

我想知道我是否可以像这样在sparksql中使用update查询：我得到了错误：Unsupported language features in query:update users set name

浏览 2提问于2016-05-30得票数 10

回答已采纳

1回答

Delta : org.apache.spark.sql.catalyst.parser.ParseException:不匹配输入“FROM”

amazon-emr、delta-lake

:3391) at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:81) at org.apache.spark.sql.SparkSess

浏览 4提问于2021-02-18得票数 2

1回答

在Apache Hudi - Glue作业中删除

pyspark、aws-glue、apache-hudi

我必须建立一个胶水作业来更新和删除雅典娜表中的旧行。createOrReplaceTempView("view_dyf") load("s3://data/test-output/") roAfterDeleteViewDF.registerTe

浏览 159提问于2021-07-01得票数 0

2回答

在Spark中，CREATE table命令是否创建外部表？

jdbc、apache-spark、hive、external-tables

这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。

浏览 2提问于2016-04-29得票数 2

2回答

Databricks Autoloader -列转换-列不可迭代

python、databricks、azure-databricks、databricks-autoloader

fileconfig['TransformQuery'] is not None: df = lspark.sql',lit(recordactiveind))applytransform模块返回一个py4j.java_gateway.JavaObject而不是常规的pyspark.sql.dataframe.DataFrameobject:

浏览 13提问于2021-12-06得票数 2

6回答

Spark Sql JDBC支持

apache-spark

由于Shark的开发已经停止，所以我们正处于评估Spark SQL的阶段。基于我们已有的用例，我们有一些问题。 1)我们有来自不同来源( MySQL、甲骨文、卡桑德拉、蒙戈)的数据。我们想知道如何将这些数据放入Spark SQL中？有没有我们可以使用的实用程序？此实用程序是否支持连续刷新数据(将数据存储上的新添加/更新/删除同步到Spark SQL？2)在Spark SQL中创建多个数据库是一种方

浏览 0提问于2014-07-08得票数 7

2回答

如何在spark* scala中覆盖特定的表分区*

scala、apache-spark、intellij-idea、apache-spark-sql、scala-collections

我有一个按日期分区的表，我试图覆盖一个特定的分区，但当我尝试下面的代码时，它将覆盖整个表但是我想通过给出分区列名和它的值来覆盖一个特定的分区，比如partitionBy(date='20-01-2021')；

浏览 23提问于2021-02-13得票数 0

2回答

如何使用Scala更新ORC蜂巢表

scala、apache-spark、apache-spark-sql、hiveql、hivecontext

我想更新一个以orc格式的hive表，我可以从我的ambari hive视图中进行更新，但是无法从sacla运行相同的update语句(星火壳)。objHiveContext.sql("select * from table_name ")能够看到数据，但当我运行时 ObjHiveContext.sql(“table_name set column_name=‘the’")无法运行，出现了一些可注意的异常(更新附近的无效语法等)，因为我可以从Ambari视图进行更新<

浏览 0提问于2015-12-30得票数 5

回答已采纳

点击加载更多