我正在尝试使用Apache Spark连接到本地主机/笔记本电脑上的SQL Server数据库。但经过多次尝试，并密切关注在线文档，我无法成功连接到数据库和读/写查询。我已经下载了Jar JDBC文件，并将其放入Spark文件夹(位于pyspark的Anaconda文件夹中)。/mssql-jdbc-7.4.1.jre12.jar" --jars "
浏览 37提问于2019-12-31得票数 1
1回答
from pyspark.sql import SparkSession
.builder \ .config("spark.jars", "mssql-jdbc-8.4.1.jre8.jar") \
spark1 = Spar
浏览 8提问于2022-08-05得票数 0
我想问如何使用Windows身份验证将SQL Server连接到吡火花库？我可以连接到，但当我尝试用Python编写代码时，我可以这样做。下面是我迄今为止所做的尝试。from pyspark.sql import SparkSession
.builder \ .config("spark.drive
浏览 0提问于2019-08-22得票数 3
回答已采纳
我正在尝试使用pyspark连接到MS-SQL数据库： "jdbcDF = spark.read.format("jdbc") \
.option("url", "jdbc:sqlserver
浏览 21提问于2019-03-08得票数 2
import urllibfindspark.init(): java.lang.NullPointerException
at org.apache.spark.sql.execution.datasourc
浏览 5提问于2016-10-17得票数 3
我正在研究分析航空数据的PySpark应用程序。数据库是MS SQLServer DB。同时连接到服务器上的数据库。我得到一个错误“没有合适的驱动程序”。但是，当我使用CLI在本地机器上运行，并将JDBC驱动程序jar文件添加到driver-class-path中时，它会运行并连接到DB。$$anonfun$7.apply(JDBCOptions.scala:84)
at org.apache.spark.sql.execution.datas
浏览 0提问于2018-11-26得票数 1
1回答
从PySpark加载数据
、、、
我正在尝试使用spark.read.jdbc从PySpark连接到MS SQL DB。$$anonfun$6.apply(JDBCOptions.scala:105) at scala.Option.getOrElse(Option.sca
浏览 1提问于2020-11-29得票数 0
回答已采纳
1回答
Pyspark天青
、、、
我在mac os上使用pyspark并尝试从AzureSQL中读取，我得到了下面所说的错误。Spark 2.4.6；Scala 2.11；java 1.8.0_251 pyspark --jars spark-mssql-connector_2.11_2.4-1.0.2.jar
at org.apache.spark.sql.execution.datasou
浏览 14提问于2021-10-05得票数 0
回答已采纳
我正在尝试使用来插入大量来自pyspark的数据。:3.2.0,org.apache.spark:spark-avro_2.12:3.1.2,com.microsoft.sqlserver:mssql-jdbc:8.4.1.jre8,com.microsoft.azure:spark-mssql-connector_2.12:1.2.0')ERROR executor.Executor: Exception in task
浏览 40提问于2022-06-24得票数 2
. at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:158) at org
浏览 0提问于2016-09-04得票数 4
回答已采纳
我正在尝试使用中的pyspark从MS服务器加载数据。火花测试和工作良好。.set("spark.driver.extraClassPath","mssql-jdbc-7.4.1.jre8.jar")sqlContext = SQLContext(sc)
# Loading data from a JDBC</
浏览 3提问于2019-10-18得票数 0
回答已采纳
当我试图使用Spark连接器MSSQL连接到Azure SQL数据库时，会出现以下错误。--master local[2] --deploy-mode client --jars /workspaces/dev_con3/jars/spark-mssql-connector_2.12-1.2.0.jar,/workspaces/dev_con3/jars/adal4j-1.6.7.jar --verbose
浏览 4提问于2022-05-30得票数 0
1回答
火花3.1.1Debian 5.10.127 x86_64pyspark --jars gs://bucket/artifacts/hudi-spark3.1stdin>", line 1, in <module>编辑1：
pyspark --jars gs:/'spark.s
浏览 30提问于2022-12-01得票数 2
回答已采纳
我正在尝试使用此连接器- com.microsoft.azure:spark-mssql-connector_2.12_3.0:1.0.0，将数据从Azure Databricks写入Azure SQL由于阶段故障，作业已中止:阶段1.0中的任务0失败了4次，最近一次失败:阶段1.0中丢失了任务0.3 (TID 4，10.139.64.4，执行器0)：com/microsoft/sqlserver/jdbc/ISQLServerBulkData :java.lang.NoClassDefFoundEr
浏览 23提问于2021-04-01得票数 2
一个源是mssql，另一个可以是任何类似纯文本的源。然后，我想要做的是加入一个varchar列上的2个dataframes，如果我要在SQL server中这样做，将会非常昂贵。我的问题是，这个操作是在spark中更有表现力，还是仍然需要在varchar列上执行SQL中的联接/查询？sqlContext.read.format("jdbc").或者somehow是否以某种方式将列KeyId上的联接费用传递给mssql？
浏览 0提问于2018-02-27得票数 0
回答已采纳
<init>(JDBCOptions.scala:108) at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation.config(&q
浏览 35提问于2021-05-14得票数 0
1回答
我收到以下错误：spark-submit命令：
spark-submit --deploy-mode client --master yarn --conf <e
浏览 1提问于2018-10-15得票数 0
在Windows10上运行，并使用python3.7安装的命令来运行pyspark：pyspark --jars "C:\spark\spark-2.4.5-bin-hadoop2.7\jars\ojdbc6，我正在使用的window登录可以访问数据库，因为它与cx_Oracle一起工作得很好，并且我可以使用PL/SQL client访问数据库。错误： File "<stdin>", line 1, in <module>
浏览 73提问于2020-04-08得票数 0
回答已采纳
1回答
我正在尝试使用用户名/密码/jdbc url查询PySpark中的远程配置单元元存储区。我可以很好地初始化SparkSession，但无法实际查询表。from pyspark.sql import SparkSession
url = f"jdbc:hive2://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}"driver = "org.apache.hive.jdbc.
浏览 14提问于2020-09-28得票数 0
我在Microsoft中使用PySpark，使用进行连接。_2INNER JOIN table_2) AS _我得到了以下错误：
com.microsoft.sqlserver.jdbc.SQLSer
浏览 13提问于2022-10-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
