1回答
如何从jdbc连接创建spark数据库
apache-spark
我使用的是spark，我想创建查询来连接数据库中的不同表。url "jdbc:mysql://XXX.XXX.XXX.XXX/mydatabase", dbtable "mydatabase.mytable13.91 seconds, Fetched 1 row(s)
我需要的是使用或创建我的数据库，使用jdbc连接</em
浏览 3提问于2022-03-24得票数 0
回答已采纳
4回答
可以从Spark SQL连接到TeraData并在其上运行查询吗？
sql、apache-spark、teradata
到目前为止，我已经能够使用spark SQL连接并运行Mysql数据库查询，使用Mysql JDBC驱动程序将其注册为spark Data frame。可以从Spark SQL连接到TeraData并在其上运行查询吗？
浏览 0提问于2015-05-04得票数 1
1回答
使用Spark或Flink将基于Kafka事件的数据转换为关系星型模式
mysql、apache-spark、apache-kafka、data-warehouse、apache-flink
我正在为一个使用MySQL作为其数据存储的应用程序构建分析功能。我们有一个基于微服务的架构，也使用Kafka。我们的用例并不真正需要“实时”分析，但这可能会在以后添加。对于卷和用例，我不认为需要基于Hadoop的系统，但Kafka Connect，Spark和Flink是可能的。我打算构建一个基于星型模式的报告数据库，独立于主生产数据库，由维度和事实表组成，并允许Tableau报告这一点。可以编写代码来检查每个事件，然后更新事实表，但是考虑到我可能会在事实表中的数据桶上使用15到30分钟的窗口，有没有办法使用Flink、<
浏览 0提问于2018-03-23得票数 3
1回答
如何加入来自mysql和Oracle的SparkSQL数据？
apache-spark-sql、pyspark-sql
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：import sys
sys.path.append("/h
浏览 2提问于2015-12-30得票数 1
1回答
如何在Spark-streaming中连接MySQL数据库？
apache-spark、spark-streaming
在JdbcRDD和DataFrames的情况下，我可以连接Mysql数据库。但是，如何在Spark-streaming中连接MySQL数据库呢？
谢谢。
浏览 0提问于2016-06-07得票数 0
2回答
如何从主机接入MySQL Docker镜像？
mysql、docker
我正在运行MySQL Docker镜像并创建数据库和表。使用以下命令加载容器：Spark在我的主机上运行，所以我想将Spark中的数据写入容器中运行的数据库中。但是连接没有成功，我得到了一个异常：
com
浏览 1提问于2019-12-11得票数 1
2回答
在IDEA中在Hive项目上运行Spark时创建事务性连接工厂时出错
apache-spark、hive、apache-spark-sql、metastore
在星火外壳中，一切看起来都很好，我可以使用DataFrame.write.insertInto(“测试表”)通过Spark1.5将数据存储到Hive中的默认数据库中。但是，在IDEA中创建scala项目并使用相同设置的集群运行它时，在mysql中假设为"metastore_db“的亚稳态数据库中创建事务连接工厂时会引发错误。warehouse</value><property>
<name>java
浏览 5提问于2015-09-23得票数 6
回答已采纳
1回答
使用PySpark连接Mysql，但返回“要求失败:驱动程序无法打开JDBC连接”
mysql、apache-spark、pyspark、amazon-emr
我尝试使用Spark连接到MySQL数据库，如下所示： dataframe_mysql = spark.read.format('jdbc').options( d
浏览 11提问于2022-06-27得票数 0
回答已采纳
1回答
PySpark:如何通过JDBC连接使用MySQL函数？
pyspark、pyspark-sql
我在MySQL数据库中使用此查询 select *, SUBSTRING(input_date, 1, 19),现在我需要使用PySpark并通过JDBC连接访问该表来做同样的事情，但是当我尝试时，我得到了以下错误 Py4JJavaError: An error occurred while calling o62.sql.
: org.apache.spark.sql.AnalysisException: Undefined function:
浏览 68提问于2019-09-20得票数 0
回答已采纳
1回答
如何在读取JDBC连接时使用谓词？
r、apache-spark、jdbc、sparklyr
默认情况下，spark_read_jdbc()将整个数据库表读入Spark。我使用了以下语法来创建这些连接。<- "mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar"
name = "table_name",
浏览 2提问于2017-08-01得票数 5
回答已采纳
1回答
火花源三角洲-湖泊次生砂岩
apache-spark、jupyter-notebook、delta-lake
在相同的jupyter会话中使用"spark.sql.warehouse.dir“(无数据库)可以工作。但是在jupyter中重新启动内核后，目录数据库和表不再被识别。谢谢，克里斯蒂安 SparkSession.builder .config("spark.jars.packages"") "spark<
浏览 1提问于2021-09-17得票数 3
2回答
使用Apache编写错误
java、mysql、apache-spark
我是一个使用Spark的新手。我遵循了DataBricks：的在线指南import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql
浏览 4提问于2017-05-01得票数 0
回答已采纳
1回答
如何在停止上下文后强制关闭与mysql的Spark Hive metastore连接？
mysql、apache-spark、hive、metastore
我使用Spark来查询配置单元，然后进行转换。我的Scala应用创建了多个Spark应用。只有在关闭前一个spark应用的SparkSession和Spark上下文后，才会创建新的Spark应用。但是，在停止sc和spark时，不知何故，与Hive Metastore (Mysql)的连接未正确销毁。对于每个，Spark App我可以看到大约5个Mysql连接被创建(旧的连接仍然活
浏览 23提问于2017-08-15得票数 0
1回答
在spark中使用配置单元外部元数据
apache-spark、hive
我在外部mysql中使用hive metastore创建了我的metastore。我的表元数据在外部mysql中。我想将它连接到我的spark并使用元数据创建dataframe，以便使用此元数据填充所有列信息。
我该怎么做呢？
浏览 2提问于2019-09-18得票数 0
2回答
在spark中使用JDBC驱动程序限制连接到MySQL数据库的次数
mysql、apache-spark、jdbc、pyspark、pyspark-sql
目前，我正在使用JDBC驱动程序将数据从MySQL数据库导入到spark中，使用以下命令： .read .option("driver", "
浏览 4提问于2017-08-11得票数 3
1回答
如何使用Spark对MySQL (JDBC)执行join？
scala、apache-spark、apache-spark-sql、spark-dataframe
我想通过Spark从MySQL中读取数据。我看到的API能够从特定表中读取数据。prop.setProperty("user", "<username>")现在，我想对连接表执行一个查询。有没
浏览 1提问于2016-11-21得票数 2
1回答
spark 1.6.1 -- hive-site.xml --未连接到mysql
apache-spark、hive
以下是我们拥有的版本我在$SPARK_HOME/conf目录中有hive-site.xml。<property> <value>jdbc:mysql://host.domain.com:3306/metastore</value>
<
浏览 1提问于2017-03-16得票数 1
2回答
每次我执行转换/操作时，Spark都会连接到数据库？
scala、apache-spark、apache-spark-sql
我在Windows10上运行Spark 2.1.0。我连接到一个MySQL数据库，使用JDBC将数据放入spark。如下所示，每当我执行一个操作时，我都会收到以下警告，这让我想知道每个操作都是从数据库中检索数据的。scala> val jdbcDF2 = spark.read.jdbc("jdbc:mysql:dbserver", "schema.tablename", connectionProperti
浏览 1提问于2017-03-29得票数 0
4回答
AWS不允许glueContext查询
aws-glue、mssql-jdbc
我想使用AWS胶水作业从Mysql实例中读取过滤过的数据。由于胶水jdbc连接不允许我按下谓词，所以我试图在代码中显式创建jdbc连接。我想使用jdbc连接对Mysql数据库运行一个select查询和where子句，如下所示import org.apache.spark.SparkContextimport org.apache.spark.sql.Spar
浏览 1提问于2019-01-08得票数 5
回答已采纳
1回答
将PySpark DataFrames写入MySQL时的最佳实践
python、mysql、pyspark、apache-spark-sql、airflow
这只是我的代码现在看起来的样子，但是我确实想在将来添加更多的转换，df_tsv.write.jdbc(url=mysql_url, table=mysql_table, mode="append", properties={"user":mysql_user, "password": mysql_passwor
浏览 2提问于2021-10-28得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号