我可以从pyspark中的mysql表中读取数据。hiveContext.read.format('jdbc').options(url=jdbc_url, dbtable=mysql_query,driver='com.mysql.jdbc.Driver').load()
但是我找不到在mysql中更新记录的方法。有没有人执行过pyspark的更新。
浏览 4提问于2016-12-17得票数 1
1回答
不幸的是，Databricks似乎不能调用存储过程，所以我手动将包含正确数据的行追加到我的日志表中。但是，在给定一组条件的情况下，我找不到正确的sytnax来更新表： 我用来追加一行的语句如下： spark_log.write.jdbc(sql_url, 'internal.Job',mode='append查看文档，这似乎只提到了使用带有query参数的select语句： 目标数据库是Azure SQL数据库。https://spark.apache.o
浏览 29提问于2020-01-06得票数 2
回答已采纳
我正在尝试使用PySpark、SQL、DataFrames和JDBC connection在MySql上插入和更新一些数据。myDataFrame.write.mode(SaveMode.Append).jdbc(JDBCurl,mySqlTable,conn
浏览 2提问于2020-07-02得票数 1
我试图弄清楚如何使用新的DataFrameWriter将数据写回JDBC数据库。我似乎找不到这方面的任何文档，尽管看一下源代码，它似乎是可能的。下面是我正在尝试的一个简单的例子： "url" -> "jdbc:mysql://localhost/foo", "dbtable" -> "foo.bar&q
浏览 0提问于2015-09-16得票数 7
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的总和来更新列值(不
浏览 4提问于2015-09-16得票数 12
是否有一种方法可以像我们使用熊猫的方法那样，动态地从pyspark创建具有给定模式的表。
类似地，我们可以从pyspark dataframe创建一个具有给定模式的表吗？df.write.jdbc("jdbc:postgresql://localhost:5432/postgres", "sample_data1",mode="overwrite"
浏览 4提问于2020-06-22得票数 1
回答已采纳
1回答
如何在python中解密密码
、、、、
我的代码是使用pyspark连接到sql server。对于这个连接，我得到了jceks的加密密码。如何解密密码并用于从sql server加载表。请提个建议。import pysparkfrom pyspark_llap import HiveWarehouseSessionfrom pyspark.sql.functions import *
f
浏览 14提问于2019-08-06得票数 4
回答已采纳
尝试使用PySpark从Postgres DB读取表。"url = 'jdbc:postgresql://tom:@localhost/gqp'
sqlContext.read \ .option("url", url) \
.option("driver&
浏览 6提问于2017-03-09得票数 3
回答已采纳
我正在尝试使用pyspark连接到MS-SQL数据库： "jdbcDF = spark.read.format("jdbc") \
.option("url", "jdbc:sqlserver
浏览 21提问于2019-03-08得票数 2
我已经写了下面的代码来从HIVE表中读取数据，当我试图运行时，没有编译错误，也没有数据显示。from pyspark import SparkConf, SparkContext os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars hive-jdbc-2.1.0.jar
浏览 0提问于2018-04-20得票数 0
我在Windows 10 64位操作系统上使用Python 3.7.3，我有Python的Anaconda发行版。我已经下载了Jar JDBC文件，并将其放入Spark文件夹(位于pyspark的Anaconda文件夹中)。美国东部时间12/31 18:46更新* 步骤1使用Anaconda Prompt -> pyspark ->按enter键启动类路径，然后输入以下命令 bin/spark-shell--driver-class-path/m
浏览 37提问于2019-12-31得票数 1
1回答
我使用AWS胶水读取Aurora (MySQL)表并写入S3文件。MySQL表的日期列值为“0000-00-00”，这在MySQL中是允许的。正因为如此，我的Glue作业(PySpark)失败了。附加jdbc:mysql:<host-name>/<db-name>?zeroDateTimeBehavior=convertToNull&autoReconnect=true&characterEncoding=UTF-8&characterSetRes
浏览 0提问于2018-08-04得票数 2
1回答
id使用nextval('my_sequence')从序列中获取其值。PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。下面是我目前如何编写从Pyspark到Postgres的数据： .option("url", jdbc_
浏览 0提问于2018-01-21得票数 2
回答已采纳
1回答
我正在尝试向MySql表中插入记录。该表包含作为列的id和name。id = '103' l = [id,name]
url='jdbc:mysql://localhost/
浏览 3提问于2017-10-04得票数 16
回答已采纳
我正在尝试将SQL表加载到dataframe中。我正在跟踪微软的官方文件。java.lang.ClassNotFoundException：
connectionProperties = {}databa
浏览 4提问于2022-05-21得票数 0
我正在尝试一个基本的测试用例，将数据从dashDB读入spark，然后再写回dashDB。sqlContext = SQLContext(sc) url="jdbc:db2://bluemix05) WITH NO DATAfrom pyspark.sql import DataFrameWriter
writer =
浏览 7提问于2015-11-12得票数 0
回答已采纳
我正试图通过下面的pyspark代码将sql server表转换为.csv格式。from pyspark import SparkContextfrom pyspark.sql import SQLContext, Row
df = sqlContext.read.format("jdbc").op
浏览 0提问于2017-09-07得票数 0
回答已采纳
因此，我使用pyspark从databricks连接到postgres数据库，我可以阅读，我可以创建表，也可以更新它。但我无法删除一份记录。dfs = spark.read.format('jdbc')\.option("user", user)\
.option("password",
浏览 2提问于2022-06-07得票数 1
我将使用pyspark.And从mariadb数据库读取表--运行以下代码‘’时会发生错误jdbcDatabase = "pucsl"jdbcUrl = "jdbc:mariadb://{0}:{1}/{2}?user={3}&password={4}".format(jdbcHostname, jdbcPort, jdb
浏览 33提问于2022-04-25得票数 0
我试图使用Pyspark连接插入到现有的Mysql表中，但是我得到了以下错误 File "/usr/hdp/current该表存在于MySql数据库中，在从另一个表中选择数据时，我成功地插入了Dataframe，但是我想直接插入到Mysql数据库表中。我的代码：from pyspark.
浏览 0提问于2020-07-17得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
