如何在pyspark中安装postgresql JDBC驱动程序

文章/答案/技术大牛

发布

2回答

如何在Jupyter notebook中设置MySQL的JDBC驱动程序？

apache-spark、jdbc、pyspark、apache-spark-sql、jupyter-notebook

我正在尝试将一堆CSV文件逐行加载到mysql实例中，该实例使用pyspark配置在OpenShift上运行。我有一台运行着spark的Jupyter笔记本。Py4JJavaError: An error occurred while calling o89.save. if __name__ == '__

浏览 7提问于2020-09-01得票数 0

12回答

使用火花放电连接到PostgreSQL

postgresql、apache-spark、pyspark

我正在尝试用pyspark连接到数据库，并使用以下代码：df = sqlctx.load( password = "MichaelJordan", source = "jdbc",

浏览 6提问于2016-01-22得票数 27

1回答

从Azure Synapse笔记本中访问PostgreSQL

postgresql、azure、azure-synapse

PostgreSQL安装在Azure中，我希望使用Synapse记事本从PostgreSQL创建表、加载/读取数据。我该怎么做呢？尝试使用连接字符串，还有其他方法吗？

浏览 7提问于2022-03-09得票数 0

3回答

将spark数据帧写入postgres数据库

postgresql、apache-spark、dataframe、apache-spark-sql

spark.memory.fraction", "0.2") \.set("spark.executor.extraClassPath", "/usr/share/java/postgresql-jdbc3.jar")from pyspark.sql import DataF

浏览 27提问于2016-08-08得票数 7

2回答

如何在我的码头映像中安装postgresql？

postgresql、docker、apache-spark、pyspark

我正试图在我的spark application.But中从Postgresql中获取数据，现在我很困惑如何在我的码头映像中安装postgresql驱动程序。我还尝试将postgresql安装为apt-get安装命令，如下所述(Dockerfile)。sqlContext = SQLContext(sc) from pyspark.sql im

浏览 1提问于2018-12-25得票数 1

回答已采纳

1回答

Postgresql驱动程序未发现火星城的蜂窝-亚稳态

postgresql、apache-spark、pyspark、jdbc

我做了两件事来安装postgresql驱动程序以供spark使用：$ll $SPARK_HOME/jars/post*SparkConf中添加jar的 .appName(appName) .config('spark.jars','/usr/lo

浏览 5提问于2022-11-15得票数 0

回答已采纳

1回答

apache-spark、jdbc、pyspark、pyspark-sql

我在Lubuntu16.04上使用pyspark和spark 2.2.0，我想在我的Postgresql数据库中写一个Dataframe。现在据我所知，我必须在spark master上为它安装一个jdbc驱动程序。我从他们的网站上下载了postgresql jdbc驱动程序，并尝试关注。我将spark.jars.packages /path/to/driver/postgresql</

浏览 3提问于2018-02-23得票数 2

回答已采纳

4回答

PostgreSQL -安装JDBC驱动程序

java、sql、postgresql、jdbc、debian

我很难确定如何在Debian6.0服务器上安装PostgreSQL的JDBC驱动程序。我已经将驱动程序.jar移至以下目录：Class.forName("org.postgresql.Driver"); 但是，由于我是postgreSQL</e

浏览 5提问于2012-12-13得票数 11

回答已采纳

6回答

Apache Spark : JDBC连接不工作

postgresql、jdbc、apache-spark、apache-spark-sql

我已经成功地在本地windows上安装了Spark 1.3.0，并使用pyspark shell运行了示例程序进行测试。现在，我想从Mllib对存储在Postgresql中的数据运行关联，但我无法连接到postgresql。通过运行以下命令，我已经成功地在类路径中添加了所需的jar (测试了这个jar pyspark --jars "C:\path\to\jar\postgresql-9.2-1002.jdbc3.jar&q

浏览 0提问于2015-04-23得票数 11

3回答

从火花/火花放电连接到PostgreSQL

postgresql、jdbc、jar、apache-spark、pyspark

我已经在Windows机器上安装了Spark，并希望通过Spyder使用它。我已经从这里下载了JDBC驱动程序，并将其放在D:\Analytics\Spark\spark_jars文件夹中。1.4.0-bin-hadoop2.6" from pyspark.sql import SQLContext", url="jdbc:

浏览 3提问于2015-06-19得票数 6

回答已采纳

1回答

如何在spring引导应用程序上为db连接设置TCP

java、spring、spring-boot、spring-data

我使用Hikari池构建了一个基于spring引导和spring数据的java web应用程序，部署在azure Kubernetes集群中，连接到azure postgres数据库。

浏览 1提问于2022-02-01得票数 1

1回答

将PostgresSQL JDBC驱动程序添加到所有火花记事本中

postgresql、jdbc、pyspark、docker-compose

在本例中，它是postgresql驱动程序。我的问题非常类似于。但是，我用的是码头写作而不是普通的码头。: --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.1 --jars /usr/share/java/postgresql.jar pyspark-shell--jars条目是我尝试使用以下方法引用安装在ubuntu终端中的postgresql

浏览 9提问于2021-04-12得票数 2

3回答

如何使用JDBC源在(Py)星火库中读写数据？

python、scala、apache-spark、apache-spark-sql、pyspark

这个问题的目的是记录：这些方法只要做一些小的改动，就可以与其他受支持的语言一起工作，包括Scala

浏览 0提问于2015-06-22得票数 81

回答已采纳

2回答

使用Grapes获取JDBC驱动程序的问题

sql-server、jdbc、groovy、groovy-grape

version='3.0') static void executeSql() { println rows.join("\n")}java.sql.SQLException: No suitable driver found for jdbc:sqlserver://my.server.com:1

浏览 7提问于2017-12-21得票数 1

1回答

从AWS Glue，SSL连接到Postgres Heroku DB

postgresql、amazon-web-services、ssl、aws-glue

Check that your connection definition references your JDBC database with correct URL syntax, username, and password. org.postgresql.util.PSQLException: Connection attempt timed out.我设法用DBeaver连接到数据库，并且遇到了类似的SSL问题，直到我将SSL设置为org.postgresql.ssl.NonValidatingFactory，但是Glue没有提供

浏览 0提问于2018-05-03得票数 3

1回答

在Mac (iOS)上卸载Postgres /JDBC驱动程序。错误：“当前事务已中止”(Tableau)

postgresql、jdbc、odbc、tableau-api

transaction is aborted, commands ignored until end of transaction block; Error while executing the query"我想我安装了错误的Postgres驱动程序，我需要卸载它。安装JDBC驱动程序的方式也可能有问题。如何在Mac (iOS

浏览 2提问于2021-06-10得票数 0

1回答

Orbeon 4.8 Postgres问题

postgresql、orbeon

在WEB-INF/jboss-web.xml中，我有 <res-ref-name>OrbeonDS</res-ref-name></resource-ref>...我的

浏览 0提问于2015-01-13得票数 0

1回答

带有EMR和Jupyter笔记本的Postgres JAR

postgresql、amazon-web-services、jupyter-notebook、amazon-emr

我正在尝试启动一个包含Postgres驱动程序JAR文件的电子病历集群，这样我就可以从Postgres加载数据并使用PySpark进行分析。我将我想要包含的JAR存储在S3中。"connection-url": "jdbc:postgresql://example.net:5432/database", "connection-user": "MYUSER) 3-添加JAR作为自定义引导操作(从

浏览 13提问于2021-04-06得票数 2

回答已采纳

2回答

如何访问来自pyspark* on IBM的Data Science Experience的postgres表？*

postgresql、apache-spark、pyspark、data-science-experience、dsx

下面是我的代码：pword = "xxxxx" table = "xxxxx" jdbcDF= spark.read.format("jdbc").option("url", dbUrl).option("dbtable",table).option("user", unam

浏览 21提问于2017-02-14得票数 0

回答已采纳

3回答

ipython笔记本中Postgres数据库的Pyspark连接

postgresql、pyspark、apache-spark-sql、pyspark-sql

在我的.bash_profile中，我有以下几个用于查找Postgres驱动程序的内容：下面是我在ipython': 'password'} url='jdbc:%s' % url, table=table, properties=properties )我知道找到我下载的驱动

浏览 8提问于2017-10-24得票数 4

回答已采纳

点击加载更多

如何在Jupyter notebook中设置MySQL的JDBC驱动程序？

使用火花放电连接到PostgreSQL

从Azure Synapse笔记本中访问PostgreSQL

将spark数据帧写入postgres数据库

如何在我的码头映像中安装postgresql？

Postgresql驱动程序未发现火星城的蜂窝-亚稳态