在研究了之后,我用SQLAlchemy创建了一个简单的文件,该文件连接到MySQL数据库,然后执行CREATE DATABASE IF NOT EXISTS dbname。我只是想知道如何在MySQL中运行它来测试它。我看到的每一个地方似乎都提到了如何用SQLAlchemy写东西,但我对如何执行它感到困惑。很抱歉问了这么愚蠢的问题。
我希望将数据保存到MySQL中,覆盖某些字段中的重复行,并将挂起的数据不包含的数据保存在MySQL中。我试过的Mode.Overwrite/Mode.append仍然不能满足我的需求。因此,我尝试从MySQL加载现有数据并找到行。但是,当将数据保存到MySQL中时,获得的DataFrame变为空。守则如下:
var mysql_table = spark.sqlContext.read.format("jdbc").options(jdbc_options).load()