腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
spark
streaming和
spark
redshift-connector将数据从kafka复制到红移
、
、
我正在尝试设置一条从
mysql
binlogs到redshift的数据管道。我正在从
Mysql
binlogs(使用一个工具- cannedbeer,来自mypipe的fork )向kafka
写入
数据,然后使用
spark
streaming将这些消息
写入
到使用
spark
redshift我面临的问题是,由于Dstream .Can的foreachRDD方法(
写入
Redshift的副作用)中的作业失败,相同的消息被多次
写入
到redshift.Is这是因为
浏览 1
提问于2015-11-12
得票数 1
1
回答
使用
Spark
写入
memsql的最佳实践
、
、
我的用例如下:我们正在使用
Spark
从HDFS读取和转换数据。转换后的数据应保存在memsql中。长话短说:
Spark
scale如何
写入
memsql?
浏览 4
提问于2016-01-15
得票数 1
1
回答
使用
spark
创建新的
MySQL
表
、
、
、
、
我知道我们可以使用
spark
从现有的
mysql
表中读取和
写入
数据。但是,我们甚至可以创建
mysql
表并使用dataframes将数据插入其中吗?当我试图将文件加载到dataframe并试图
写入
不存在的表时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.sc
浏览 1
提问于2018-03-12
得票数 2
3
回答
在
写入
dataframe - pyspark之前从表中删除记录
、
、
、
、
在从dataframe向表中
写入
数据之前,我正在尝试从表中删除记录。这对我不起作用。我做错了什么?query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172
提问于2020-10-14
得票数 1
回答已采纳
1
回答
错误:使用
Spark
写入
TiDB时,GC生存期短于事务持续时间
我正在使用Apache
Spark
批量
写入
数据。批次为1天。在运行
spark
作业时,我得到了这个错误。我正在使用
MySQL
java连接器连接到TiDB集群。
Spark
为
写入
创建了144个并行任务。(SQLError.java:1055) at com.
mysql
.jdbc.MysqlIO.checkErro
浏览 7
提问于2018-11-13
得票数 0
1
回答
spark
.sql()和
spark
.read.format("jdbc").option("query“、"")之间有什么区别?
、
、
、
我假设
spark
.sql(查询)是在使用
spark
.sql时使用的,而
spark
.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3
提问于2021-08-16
得票数 3
回答已采纳
2
回答
如何从主机接入
MySQL
Docker镜像?
、
我正在运行
MySQL
Docker镜像并创建数据库和表。使用以下命令加载容器:
Spark
在我的主机上运行,所以我想将
Spark
中的数据
写入
容器中运行的数据库中。但是连接没有成功,我得到了一个异常: com.
mysql
.jd
浏览 1
提问于2019-12-11
得票数 1
2
回答
使用Apache编写错误
、
、
我是一个使用
Spark
的新手。我遵循了DataBricks:的在线指南import org.apache.
spark
.SparkConf; import org.apache.
spark
.api.java.JavaSparkContext;import org.apache.
spark
.sql.Dataset;
浏览 4
提问于2017-05-01
得票数 0
回答已采纳
1
回答
如何加入来自
mysql
和Oracle的SparkSQL数据?
、
在SparkSQL中可以加入
mysql
和Oracle数据库中的数据吗?我试图加入他们,但在
SPARK
_CLASSPATH中设置多个jars (用于
mysql
和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码:import sys sys.path.append("/home/
浏览 2
提问于2015-12-30
得票数 1
1
回答
可以在
Spark
?中
写入
MEDIUMTEXT类型的
MySQL
列。
、
、
、
我正在使用
Spark
SQL从一个
MySQL
表中读入一个数据框,其中有一列的类型为MEDIUMTEXT。当我将数据框原封不动地
写入
新表中时,该列现在的类型为TEXT,并且我得到了一个
MySQL
MysqlDataTruncation异常。我不知道我是不是运气不好,或者有什么方法可以告诉
Spark
SQL特定于
MySQL
的结果列类型是什么。 在座有人对这个问题有所了解吗?
浏览 141
提问于2019-08-08
得票数 2
1
回答
如何使用apache
spark
在
mysql
数据库中创建表
、
、
我正在尝试创建一个
spark
应用程序,它对创建、读取、
写入
和更新
MySQL
数据很有用。那么,有没有办法使用
Spark
创建一个
MySQL
表呢?下面是在
MySQL
数据库中创建表的Scala-JDBC代码。我如何通过
Spark
做到这一点?package SparkMysqlJdbcConnectivity import java.util.Properties"
浏览 17
提问于2019-08-15
得票数 2
1
回答
使用PySpark DataFrames和JDBC插入和更新
MySql
表
、
、
、
、
我正在尝试使用PySpark、SQL、DataFrames和JDBC connection在
MySql
上插入和更新一些数据。如果我更改为SaveMode.Overwrite,它将删除整个表并创建一个新表,我正在寻找类似于
MySql
浏览 2
提问于2020-07-02
得票数 1
1
回答
每次在python中迭代函数时,分别获取该函数的日志
、
、
、
现在,我想在每次迭代函数
mysql
_
spark
时分别收集日志。2]mysqltable=sys.argv[4]
mysql
_
spark
(table, hivedb, mysqldb, mysqltable)/b
浏览 1
提问于2017-07-29
得票数 0
回答已采纳
1
回答
Submit命令正在返回缺少的应用程序资源。
、
、
,并将它
写入
MySQL
。" %% "
spark
-core" % sparkVersion, "org.apache.
spark
" % "2.4.1", //"
mysql
" % "
mysql</
浏览 2
提问于2020-08-03
得票数 1
回答已采纳
1
回答
将
MySQL
表转换为拼图时触发异常
、
、
我正在尝试使用
spark
1.6.2将一个
MySQL
远程表转换为一个拼花文件。This timeout is controlled by
spark
.executor.heartbeatIntervalERROR ActorSystemImpl: Uncaught--packages
mysql
:
mysql
-connector-java:5.1.26 org.slf4j:slf4j-simple:1.7.21 --driver-memory 12G valdataframe_<
浏览 0
提问于2016-10-27
得票数 5
回答已采纳
2
回答
PySpark到
MySQL
插入错误?
、
、
、
、
“jdbc:
mysql
://localhost:3306/bigdata?/bin/
spark
-submit /Users/ashishu/Desktop/sample.py --driver-class-path /Users/ashishu/Documents/
Spark
/bin/
mysql
-connector-java-5.1.42/
m
浏览 3
提问于2017-05-02
得票数 0
回答已采纳
1
回答
PySpark和
MySQL
选项
、
、
我想用下面的方式写到DB上 df.write.format("jdbc").option("url", jdbc_url).option("driver", "com.
mysql
.jdbc.Driver
浏览 2
提问于2020-09-16
得票数 1
回答已采纳
2
回答
在Azure数据库中使用Python将DF
写入
Server
、
、
、
、
我们刚从Scala转到Python。我有一个数据文件,需要插入到Server中。我以前多次这样做,使用下面的Scala代码。bulkCopyMetadata.addColumnMetadata(1, "Title", java.sql.Types.NVARCHAR, 128, 0)bulkCopyMetada
浏览 3
提问于2019-11-22
得票数 5
回答已采纳
1
回答
如何在
MySQL
中将两个流df
写入
两个不同的表中?
、
我编写了火花结构化流的代码,将流数据插入到两个不同的
MySQL
表中。如果我将代码更改为先运行query2,然后运行query1,则将其
写入
表B,
浏览 1
提问于2020-10-07
得票数 2
回答已采纳
1
回答
PySpark过滤数据帧并将数据帧
写入
mysql
数据库
、
、
、
、
我正在尝试写数据帧到
MySql
DB和使用Apache
Spark
2.3.1。它有20K到30K的行从
mySql
读取,并使用20个分区进行分区。我首先过滤数据帧,并尝试将过滤后的结果集
写入
mysql
DB。 但是写操作变得太慢。在没有过滤的情况下,df写操作正在按照预期的速度和性能执行。有人能帮上忙吗?我的代码: dataFrame =
spark
.read.format('jdbc').option(...).load() //performi
浏览 24
提问于2021-10-15
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
第八篇|Spark SQL百万级数据批量读写入MySQL
Python写入数据到MySQL
Python爬虫数据写入mySQL案例
MySQL 每秒 570000 的写入,如何实现?
解决写入中文数据到 MySql 时变成?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券