无法使用jdbc将spark数据集写入数据库

文章/答案/技术大牛

发布

1回答

使用JDBC驱动程序将Spark数据集写入Oracle数据库的过程非常耗时

scala、apache-spark、pyspark、apache-spark-sql、pyspark-sql

我正在使用Apache Spark加载、处理数据集，并使用JDBC驱动程序将数据集输出到Oracle DB中。我使用spark jdbc write方法将数据集写入数据库。但是，同时将数据集写入数据库，

浏览 0提问于2018-08-21得票数 0

1回答

java、python、scala、apache-spark-sql

我需要将我的spark数据集写入oracle数据库表。我正在使用带有追加模式的数据集写入方法。但是当使用spark2-submit命令在集群上触发spark作业时，会出现分析异常。我已经读取了json文件，将其扁平化，并将其设置为abcDataset数据集。Spark版本-2 Oracle数据库JDBC

浏览 51提问于2019-05-15得票数 0

1回答

使用DataBricks将SQL查询发送到Server

sql-server、azure、jdbc、pyspark、databricks

将自定义SQL查询发送到Python上的SQL数据库是非常直接的。值得一提的是，我可以使用JDBC读取和写入Server数据库，但我希望发送一个自定义SQL语句，例如，希望在Server数据库中执行的"bulk insert“语句。下面是我如何使用JDBC从Server读取数据。table_name="dbo.myTable" spark.read.jdbc(url=j

浏览 3提问于2020-09-20得票数 0

2回答

使用Apache Spark进行快速计算，但写入数据库会消耗大量时间

scala、apache-spark、pyspark

我正在使用Apache spark从Oracle数据库中加载数据集，使用jdbc格式在Spark-Java.I中。我正在加载一个大小为10M和1M的数据集，并在dataset.After上执行各种操作。所有处理都完成了，我正在将多个数据集写入数据库，这几乎消耗了90%的时间。那么，如何降低这种写入Oracle<

浏览 0提问于2018-08-23得票数 0

1回答

spark.sql()和spark.read.format("jdbc").option("query“、"")之间有什么区别？

python、apache-spark、pyspark、apache-spark-sql

我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。

浏览 3提问于2021-08-16得票数 3

回答已采纳

1回答

为spark的连接方法设置超时的最简单方法是什么，比如读和写？所以我将heartbeatInterval设置为"1s“。","2s").config("spark.executor.heartbeatInterval", "1s").getOrCreate();Dataset<Row> dataset =sparkSession.read().jdbc(url, fromStatement, prop

浏览 156提问于2018-09-26得票数 1

2回答

将具有字符串列的数据集写入teradata时获取SQLException

apache-spark、spark-dataframe、teradata

当我试图将数据集从spark写到teradata时，同时在数据集中有一些字符串数据时，我得到了下面的错误： at org.apache.spark.sql.execution.QueryExecution.toRdd(QueryExecution.scala:92) 如何确保数据被正确地写入</

浏览 25提问于2018-01-02得票数 0

回答已采纳

2回答

火花-雪花连接器是否只适用于数据库火花？

apache-spark、databricks、snowflake-cloud-data-platform

使用databricks spark，能够使用connector(spark-snowflake_2.11-2.3.0.jar，spark雪花-JDBC2.8.1.jar将数据写入雪花中，而不是使用JDBC但是如果没有databricks，当我试图在安装了火花的本地机器上应用相同的代码时，我无法使用火花-雪花连接器写入雪花。但是能够使用<

浏览 1提问于2018-10-13得票数 1

2回答

使用Apache编写错误

java、mysql、apache-spark

我是一个使用Spark的新手。我遵循了DataBricks：的在线指南import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.Dataset;

浏览 4提问于2017-05-01得票数 0

回答已采纳

1回答

无法将星火数据集持久化为orientdb

apache-spark、orientdb-2.1、orientdb2.2

我正在尝试从sql服务器数据库中获取数据，并创建一个spark数据集。当我将数据集持久化到orientdb时，无法做到这一点。下降到误差以下这是我的代码"); options.p

浏览 2提问于2017-02-28得票数 0

1回答

在mongoDB中为大数据集1.8TB保存数据时触发内存错误

mongodb、apache-spark、pyspark、amazon-emr

我试图使用下面提到的用于MongoDB的代码在MongoDB中保存数据，并在AWS s3中保存与JSON相同的数据。虽然s3写入工作正常，但MongoDB给了我java.lang.OutOfMemoryError，但不确定在MongoDB写入和s3中以JSON形式写入文件时，相同的数据是如何处理的。MongoDB写db_url

浏览 3提问于2022-10-09得票数 2

1回答

DataFrame numPartitions默认值

scala、apache-spark、apache-spark-sql

我正在尝试使用JDBC从数据库表中读取一些内容：然后将其写入另一个数据库： df.write.mode(SaveMode.Append).jdbc("<other database url&g

浏览 0提问于2020-07-09得票数 1

1回答

使用覆盖模式向Teradata表写入DF的星星之火--尽管截断为真

apache-spark-sql、teradata、pyspark-sql

我正在尝试使用Spark将DF记录写入Teradata表。示例代码： .option("url", jdbcUrl)\根据Spark文档，当我将

浏览 1提问于2018-09-18得票数 0

1回答

激发JDBC来读取和写入Hive

apache-spark、hadoop、jdbc、hive

我正在尝试开发一个通用的实现来使用Spark来支持从各种符合JDBC的数据库(如PostgreSQL、MySQL、Hive等)读取/写入数据。我的代码如下所示。，但是一旦我使用与Hive相关的JDBC，它就会引发问题。首先，我的read无法读取任何数据并返回空的结果。经过一些搜索，我可以通过添加自定义的HiveDialect来使读取工作，但我仍然面临着将数据写入

浏览 6提问于2019-11-12得票数 0

1回答

为什么来自Oracle的Spark查询(加载)比SQOOP慢？

oracle、apache-spark、apache-spark-sql、spark-dataframe

我们发现，从Spark 1.3到当前的Spark 2.0.1，使用Spark的API从Oracle数据库加载数据总是很慢。"); .format("jdbc但是Spark核心代码的某些部分变成了Spark的内部代码，所以这个版本之后就不能

浏览 1提问于2016-10-13得票数 9

1回答

使用JDBC连接将数据写入Azure SQL DB with Scala代码Databricks notebook

scala、apache-spark、hive、azure-sql-database、azure-databricks

我正在尝试将数据从配置单元表插入Azure SQL DB表。SQL DB表已经存在，我只想用下面的Scala JDBC编写代码覆盖其中的数据。此代码将数据写入SQL DB表，但它正在更改其DDL (数据类型/列名)。我怎么才能避免它。我想要简单的插入表。 ?

浏览 18提问于2019-04-29得票数 0

2回答

在Azure数据库中使用Python将DF写入Server

sql-server、python-3.x、scala、dataframe、databricks

我有一个数据文件，需要插入到Server中。我以前多次这样做，使用下面的Scala代码。

浏览 3提问于2019-11-22得票数 5

回答已采纳

3回答

如何使用JDBC源在(Py)星火库中读写数据？

python、scala、apache-spark、apache-spark-sql、pyspark

这个问题的目的是记录：这些方法只要做一些小的改动，就可以与其他受支持的语言一起工作，包括Scala

浏览 0提问于2015-06-22得票数 81

回答已采纳

1回答

我可以使用Pyspark更新远程Mysql DB中的表中的值吗？

python、mysql、pyspark、apache-kafka、pyspark-sql

我正在使用kafka从远程mysql数据库读取数据，并将其传递到Pyspark streaming以应用情感分析，然后用该值更新mysql数据库中的列。这是最好的情况，还是有比这更有效的架构？

浏览 1提问于2019-11-20得票数 0

1回答

如何使用中的hadoop office库将数据集写入excel文件

java、apache-spark、apache-spark-sql、spark-excel

目前，我使用com.crealytics.spark.excel读取Excel文件，但使用此库，无法将数据集写入Excel文件。这个说，使用hadoop库(org.zuinnote.spark.office.excel)，我们可以读写Excel文件请帮助我在spark .中将数据集对象写入excel文件。

浏览 5提问于2017-06-28得票数 4

回答已采纳

点击加载更多

使用JDBC驱动程序将Spark数据集写入Oracle数据库的过程非常耗时