在Java中将大约80000的大数据插入postgres数据库失败

文章/答案/技术大牛

发布

1回答

java、sql、postgresql、hibernate、transactions

我有以下关于的file.txt。它可能包含多达400,000个条目，我需要将它们插入到数据库中，但是对于具有大约80000到最大100,000个条目的文件，该过程是成功的，但如果超过该值，则会失败。问题可能出在写入数据库的最后一个循环中，FORMATVERSION: 1.2 COLUMNS: NAME,SURNAME,AGEnot insert"

浏览 16提问于2018-08-30得票数 0

回答已采纳

2回答

Postgres数据库10天后插入速度变慢，需要完全真空。

postgresql、performance、postgresql-performance、postgresql-12、vacuum

我们有一个postgres数据库，它在真空后的大小几乎是15 We。一个专用的硬件i，e 32 of的ram，12个核心。数据每天自动插入大约300 k，我们也会处理数据。数据在3个月后被删除，以降低db的大小。通常插入速度为: 1200次/分钟其中一个重要的表上有一个相当大的触发器(不幸的

浏览 0提问于2021-04-09得票数 3

2回答

Firefox add-on:使用大量数据(大约80000行)填充sqlite数据库，而不使用executeSimpleSQL()

csv、sqlite、firefox-addon

我正在尝试编写的firefox附加组件需要一个大型数据库。问题是csv大约有80,000行，当我尝试传递时，我得到一个错误。(row80000val1,row80000val2,row80000va

浏览 3提问于2013-10-21得票数 1

1回答

XML通过python/psycopg2 2发送到Postgres

python、xml、postgresql、csv

我有一个现有的python脚本，它循环遍历使用etree解析每个文件的XML文件目录，并使用psycopg2模块将不同点的数据插入Postgres数据库模式。我的最终数据库中最大的表已经从大约20万个XML文件中的大约5000万条记录增长到了大约5000万条。因此，我的问题是，最有效的方法是：从XML中解析数据</

浏览 2提问于2015-04-30得票数 2

1回答

使用pg8000将xml数据插入到PostgreSQL

xml、postgresql、amazon-web-services、aws-lambda、pg8000

我有一个包含XML数据的S3文件，我需要将其插入到极光PostgreSQL数据库(PostgreSQL 11.9)的表中。为此，我正在尝试使用AWS lambda。在lambda函数中，我从S3对象中读取数据，并使用pg8000尝试在表中插入记录。插入sql失败，错误为 [ERROR] ProgrammingError: {'S': 'ERROR',

浏览 18提问于2021-01-13得票数 0

1回答

vs集群托管数据库上的持久磁盘

database、kubernetes、google-cloud-platform、google-cloud-datastore、google-kubernetes-engine

在Kubernetes和Docker设置中将Postgres数据库从Heroku迁移到Google。第二种方法--使用集群部署所连接的托管Postgres SQL数据库。我想主要的区别应该是数据库的维护和

浏览 0提问于2018-10-22得票数 4

回答已采纳

1回答

作为ElasticSearch文档更新源的Postgres“物化视图”刷新？

postgresql、amazon-web-services、elasticsearch、materialized-views

我有一个规范化的数据库，在AWS RDS Postgres数据库中有几个表，有大约一百万条记录。我每周只修改基础表一次并刷新物化视图一次。这是否可以--特别是在WAL中将</

浏览 0提问于2019-05-24得票数 1

回答已采纳

1回答

PendingRollbackError在访问FastAPI异步测试中的测试数据库时

python、async-await、sqlalchemy、pytest、fastapi

在FastAPI上运行测试时，我试图模仿Django的行为:我希望在每个测试开始时创建一个测试数据库，并在最后销毁它。问题是FastAPI的异步性破坏了一切。当我做了一次理智的检查，并把所有的同步，一切都运行得很好。不过，当我尝试运行things异步时，一切都会中断。asyncio.get_event_loop() async def session(): sync_test_db = &q

浏览 18提问于2022-01-21得票数 1

2回答

pg_escape_string和单引号-比str_replace更好的方式？

php、postgresql

我正在通过php脚本输入html表单数据到postgre。我对从POST数据中获取的每个输入字符串执行以下处理： { $var = strip_tags($var);我认为这可能是由于sanitizeString()函数中的stripslashes()，但即使当我注释掉sanitizeString (函数来自O‘’Reilly在动态网站上的书，不记得作者，是的，我知道人们讨厌这个函数我有3个相关<em

浏览 1提问于2015-02-26得票数 1

1回答

带有序列的Postgres插入记录生成错误- org.postgresql.util.PSQLException: ERROR: Relation关系"dual“不存在

postgresql、hibernate

我是Postgres数据库的新手。TEST_VAL VARCHAR(3) NOT NULL当我试图从我的应用程序中将一个新记录插入postgres数据库时(在调试模式期间，ID值在Java代码中为null )，则得到以下错误： Caus

浏览 3提问于2016-12-29得票数 3

回答已采纳

2回答

哪个更好:查询数据库两次还是创建一个查询一次的函数

java、postgresql

因此，我最近开始使用postgres。因为我不能执行"IF else“，除非在一个函数中，我很好奇哪一个是更好的资源智慧和性能智慧。1.创建如下函数，查询存储id的数据库。然后查询数据库asuming插入失败。我有一个先插入的原因，这不是这个问题的重点。我知道大多数人会说先查询，如果不存在则插入。()是否= 0；如果插入失败，我就会在数据库</e

浏览 2提问于2013-07-04得票数 1

回答已采纳

7回答

用于Java桌面应用程序的最佳数据库是什么

java、database、firebird

以下哪个数据库最适合大型桌面应用程序: Firebird、JavaDB、hsqldb？我需要性能，易于使用，完全免费的许可证。

浏览 1提问于2010-04-29得票数 26

回答已采纳

3回答

在JBoss/WildFly中，我应该在数据源上启用JTA才能与JPA一起使用吗？

jpa、jboss、datasource、jta、wildfly

在JBoss/WildFly中，在配置数据源时，有一个JTA选项，默认情况下该选项处于禁用状态：现在，我想使用JTA事务类型将此数据源与JPA相关联： <?xml version="1.0" encoding="UTF-8"?per

浏览 0提问于2014-04-03得票数 4

2回答

将大型表从sql server复制到ssms中的odbc链接数据库(postgresql)

sql-server、postgresql、odbc、ssms

我正在尝试将在Server中创建的整个数据库复制到Postgres。我一直试图编写一个脚本，它可以在ssms中运行，将postgres实例设置为链接服务器。这不是一次性的行动。在某些情况下，这些语句实际上被稍加修改，以处理不同的数据类型，但这正是我们的想法。问题是，当表特别大时，此语句将失败并出现错误：A tr

浏览 1提问于2014-03-12得票数 0

回答已采纳

5回答

JDBC多线程插入可能吗？

java、multithreading、jdbc、insert-update

我目前正在做一个Java项目，我需要准备一个大的(对我来说) mysql数据库。我必须使用Jsoup进行web抓取，并将结果存储到我的数据库中。据我估计，我将插入大约1,500,000到2,000,000条记录。在我的第一次试验中，我只是使用循环来插入这些记录，我花了一周的时间来插入大约1/3的所需记录，我认为这太慢了

浏览 3提问于2012-03-12得票数 5

2回答

CSV to MySQL:单表还是多表？

mysql、csv

我有一个有74列和大约60K行的CSV文件。此CSV文件的内容必须每月导入到MySQL数据库中。插入数据后，最终用户可以使用预定义的筛选器查询MySQL数据库的内容。将所有内容放在一个表中将意味着更快的插入，但更慢的读取。将内容拆分到多个表中(使用外键)将意味着较慢的插入，较快的读取，以及更高的</e

浏览 0提问于2012-08-20得票数 1

回答已采纳

3回答

Postgres:如何清除匿名和数据缩减的事务ID

database、postgresql、transactions

一个关键的特点是人们只能评论一次，而且每个评论都是匿名的。但是，postgres保存插入到数据库中的每个元组的事务ID (xmin of )。因此，现在有一个链接，用户和他们

浏览 4提问于2019-11-08得票数 6

5回答

使用大型mysql数据库的Django

python、django、csv

将数百万个记录csv文件导入django的最佳方式是什么？目前使用python csv模块，处理一百万条记录文件需要2-4天。它会检查该记录是否已经存在，并且很少检查其他记录。

浏览 1提问于2010-08-02得票数 4

1回答

如何在postgres中将Gson对象存储为Json类型

java、json、postgresql、gson

我在postgres db中有名为"json“的数据类型。我想从java代码中插入data对象。有人能帮我吗？谢谢,

浏览 1提问于2014-06-16得票数 1

2回答

.net中长时间运行的数据库操作

.net、sql-server、ado.net

我有一个分隔文件，用于通过.net应用程序在sql server表中插入/更新记录。该文件大约有80000条记录，每天都在处理。我的问题是:当我遍历80000行中的每一行时，保持与数据库的连接是安全的，甚至是明智的，还是应该关闭连接，然后在每次循环迭代时重新打开连接？这听起来本身就很麻烦。然而，我担心长时间保持打开的连接，持有锁和不必要的</em

浏览 0提问于2013-02-12得票数 2

回答已采纳

点击加载更多