腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9593)
视频
沙龙
1
回答
Spark
jdbc
批处理
不
插入
所有
记录
mysql
、
scala
、
apache-spark
、
jdbc
在我的
spark
工作中,我使用
jdbc
批处理
将
记录
插入
到MySQL中。但我注意到,并不是
所有
的
记录
都进入了MySQL。,但当我检查mysql时,我看到195条
记录
。我尝试了不同的
批处理
大小,但仍然看到相同的数字。insert语句进行
批处理
,因为它在单次迭代中添加后立即执行它。阻止
批处理
查询的问题可能是什么?
浏览 30
提问于2021-07-10
得票数 0
回答已采纳
1
回答
火花和MSSQL
插入
速度
sql-server
、
scala
、
apache-spark
、
jdbc
我遇到了一个问题,使用
JDBC
驱动程序将数十万条
记录
插入
MSSQL数据库需要大约一个小时。火花版本: 2.2.0 是否有一种方法来配置
Spark
应用程序,以便它使用批量
插入<
浏览 1
提问于2017-10-09
得票数 3
回答已采纳
2
回答
使用Apache
Spark
进行快速计算,但写入数据库会消耗大量时间
scala
、
apache-spark
、
pyspark
我正在使用Apache
spark
从Oracle数据库中加载数据集,使用
jdbc
格式在
Spark
-Java.I中。
所有
处理都完成了,我正在将多个数据集写入数据库,这几乎消耗了90%的时间。那么,如何降低这种写入Oracle数据库的速度呢?我尝试了执行器的各种组合--内存、核心、执行器的数量,但没有得到很大的差别。: txndetailDS.write().mode("append").format("
jdbc
").option("url", co
浏览 0
提问于2018-08-23
得票数 0
1
回答
JDBC
- PostgreSQL -批
插入
+唯一索引
java
、
sql
、
database
、
postgresql
、
jdbc
我需要在这个表格中
插入
大量的
记录
。为了加快速度,我在
JDBC
中使用
批处理
更新(驱动程序版本为8.3-603)。是否有办法做到以下几点: 每次
批处理
执行时,我都需要从未
插入
DB的
批处理
中接收
记录
,以便保存“错误”
记录
。
浏览 5
提问于2015-06-20
得票数 0
回答已采纳
2
回答
从Dataframe到DB的
批处理
插入
忽略Pyspark中失败的行
postgresql
、
jdbc
、
pyspark
我正在尝试使用
JDBC
向Postgres
插入
spark
。postgres表对其中一个列具有唯一的约束,当要
插入
的df违反约束时,整个
批处理
将被拒绝,并且火花会话关闭,给出一个错误的重复键值违反唯一约束,这是正确的,因为数据是重复的(在数据库中已经存在)。需要
插入
不
违反约束的数据行,忽略失败的行,而不会导致整个
批处理
失败。所用的代码是:url = "
jdbc
:postgre
浏览 1
提问于2018-07-31
得票数 2
2
回答
Spring JdbcTemplate batchUpdate处理异常
spring
、
jdbc
、
jdbctemplate
、
spring-jdbc
、
batch-updates
目前我们的代码使用JdbcTemplate的batchUpdate方法进行批量
插入
。 我的问题是,如果某个更新中出现任何异常,如何处理它(假设只需添加日志),并继续执行下一条更新sql语句?
浏览 11
提问于2012-03-22
得票数 5
1
回答
log4j2异步
记录
器实际上是否将数据
插入
到MySQL中?
java
、
mysql
、
database
、
jdbc
、
log4j2
我知道log4j2是用来
记录
信息的。我真的很困惑于log4
jdbc
的附录。它实际上是做什么的?我读过教程,但我真的不明白。当您通过
jdbc
将数据
插入
数据库时,它会
记录
这些信息吗??或者log4j2
记录
器实际上能够登录到数据库中?String query ="INSERT INTO 'table' ('blah' ...";st.executeUpd
浏览 0
提问于2014-07-01
得票数 0
回答已采纳
2
回答
在hibernate中保存大量
记录
的最佳方法
hibernate
、
save
我有5000条
记录
要保存。从数据库的角度来看,最好的方法是什么,是保存单个
记录
(保存(Record) 5000次)还是在hibernate中保存saveAll( 5000条
记录
的列表) ...当这种情况经常出现时,我会想到最好的一种
浏览 0
提问于2013-04-09
得票数 1
1
回答
当表很大时,可以在关系数据库中使用
Spark
吗?
sql
、
apache-spark
、
apache-spark-sql
、
bigdata
我想知道如何使用
spark
来处理存储在关系数据库中的结构化大数据?我有包含超过40亿行(GPS坐标)的表格。在使用合并操作时,
Spark
试图处理内存中的
所有
表,这是不可能的。我知道
Spark
是“内存中的”处理,但在我的例子中,内存不能适用于整个表。那么,当表很大时,是否可以在关系数据库中使用
spark
呢?
浏览 3
提问于2017-02-01
得票数 1
1
回答
是否有一种方法可以使用
spark
将数据
插入
到sql表中,而
不
插入
重复的数据并丢失现有的数据?
scala
、
apache-spark
、
apache-spark-sql
我正在尝试使用df.write.
jdbc
将一个
spark
写入postgresql表中。问题是,我希望确保
不
丢失表中已经存在的数据(使用SaveMode.Append),但也要确保避免
插入
已
插入
的重复数据。所以,如果我使用SaveMode.Overwrite:如果我使用SaveMode.Append:The表,则不会删除重复的
记录
。
浏览 1
提问于2022-04-06
得票数 0
1
回答
即使在
批处理
执行模式下,Netezza
批处理
插入
也非常慢
jdbc
、
netezza
根据文章,如果我们使用executeBatch方法,那么
插入
将会更快( Netezza
JDBC
驱动程序可能会检测到批量
插入
,并且在幕后将其转换为外部表加载,外部表加载将会更快)。我不得不执行数百万条insert语句,而且每个连接的最大速度仅为每分钟500条
记录
。有没有更好的方法通过
jdbc
连接更快地将数据加载到netezza?我使用
spark
和
jdbc
连接通过加载
插入
records.Why外部表,即使在
批处理
执行时也不会发生。下面给
浏览 19
提问于2017-07-21
得票数 1
1
回答
Oracle大容量
插入
缺少的审计条目
oracle
、
insert
、
audit
、
bulk
这是我的场景:在所描述的场景中,该值被设置为10。但是,如果我将值更改为0,这将禁用
jdbc
<em
浏览 7
提问于2013-01-10
得票数 1
1
回答
数据库操作的大小需要
批处理
模式
java
、
jdbc
只是好奇-
插入
/更新/删除的数量将保证使用
jdbc
批处理
。这是w.r.t.Oracle数据库
浏览 3
提问于2013-10-10
得票数 0
回答已采纳
2
回答
如何在
JDBC
中选择最佳批次大小?
java
、
sql
、
jdbc
、
sqlyog
我有一个CSV文件,其中有50000个条目,我想使用
JDBC
中的
批处理
在SQL中导入这些条目。 它的最佳批号应该是什么?
浏览 3
提问于2021-02-24
得票数 7
回答已采纳
1
回答
如何在Spring中使用MyB导则/ iBatis注释执行
批处理
插入
/更新操作
java
、
spring
、
mybatis
、
ibatis
、
spring-mybatis
我第一次尝试执行批量
插入
/更新操作。我使用(Mappers)来执行与数据库相关的操作。return "success";P.S. :-这也是我第一次在这里发问。
浏览 2
提问于2020-03-18
得票数 0
回答已采纳
1
回答
如何在多个同时读取的情况下更新甚至重置持久表中的行?
apache-spark
、
spark-structured-streaming
这将被其他
批处理
和流作业使用,跨不同的集群-因此,我想将它保存为一个持久的共享表,供
所有
人共享作业。allExchangeRatesDF.write.saveAsTable("exchangeRates") 那么(对于管理此数据的
批处理
作业)如何更好地优雅地更新表内容(实际上完全覆盖它)--考虑到各种星火作业是它的使用者
浏览 3
提问于2017-07-13
得票数 1
2
回答
kafka
jdbc
接收器连接器的批量大小
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
connector
我只想通过
JDBC
接收器读取
批处理
中的5000条
记录
,为此,我在
JDBC
接收器配置文件中使用了batch.size:connector.class=io.confluent.connect.
jdbc
.JdbcSinkConnectortasks.max=1topics=postgres_users connection.url=
jdbc
:postgresql://localhost:
浏览 4
提问于2019-10-25
得票数 3
1
回答
大容量
插入
和获取的JPA/Hibernate性能改进
java
、
spring-boot
、
hibernate
、
jpa
我正在使用Apache读取excel文件并将其保存到DB中,并从DB中获取
记录
以显示在UI上。尝试了
批处理
,但我们使用的是GenerationType.IDENTITY,因此
批处理
过程将无法工作,更改它的顺序将需要时间,因为它需要更改DB。除了缓存和
批处理
之外,还有什么可以尝
浏览 0
提问于2021-07-26
得票数 1
3
回答
Hibernate / MySQL大容量
插入
问题
java
、
mysql
、
hibernate
、
orm
我很难让Hibernate在MySQL上执行大容量
插入
。persistEntities(Project project) {}为什么这不成批次?(我的理解是,在适当的情况下,hibernate应该默认批
插入
)。
浏览 5
提问于2010-02-20
得票数 6
回答已采纳
2
回答
使用带有数据库生成ID的Mysql的JPA/Hibernate批量/批
插入
java
、
mysql
、
hibernate
、
jpa
、
spring-data-jpa
好吧,我已经搜索了很久了,我似乎找不到一种很好的方法来完成JPA/Hibernate和MySql的
批处理
插入
。我希望能够一次使用JPA保存/
插入
许多
记录
,但是如果使用GenerationType.IDENTITY,默认情况下会禁用
批处理
行为。因此,最后,我需要一种使用JPA/Hibernate、MySQL和数据库生成ID进行批/批量
插入
的有效方法。我知道这样做是可能的,因为我可以使用
JDBC
连接来完成,但是我真的不想为我的每个存储
浏览 17
提问于2022-08-15
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教程:Apache Spark SQL入门及实践指南!
Structured Streaming实现超低延迟
Flink与storm的主要区别译文
JavaWeb笔记-JDBC批处理、事务
Zzreal的大数据笔记-SparkDay04
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券