多线程java应用程序中的SQLite
我已经编写了一个java应用程序，它会偶尔从多个线程将事件记录到SQLite数据库中。我已经注意到，通过同时产生少量事件，我可以相对容易地触发SQLite的“数据库锁定”错误。这促使我编写了一个测试程序来模拟最坏的情况，我惊讶于SQLite在这个用例中的表现如此之差。下面发布的代码简单地将5条记录添加到数据库中，首先按顺序获取“控制”值。然后，同时添加相同的五条记录。
import java.sql.*;
public class Main {
public static void main(String[] args) throws Exception {
Class.forName("org.sqlite.JDBC");
Connection conn = DriverManager.getConnection("jdbc:sqlite:test.db");
Statement stat = conn.createStatement();
stat.executeUpdate("drop table if exists people");
stat.executeUpdate("create table people (name, occupation)");
conn.close();
SqlTask tasks[] = {
new SqlTask("Gandhi", "politics"),
new SqlTask("Turing", "computers"),
new SqlTask("Picaso", "artist"),
new SqlTask("shakespeare", "writer"),
new SqlTask("tesla", "inventor"),
};
System.out.println("Sequential DB access:");
Thread threads[] = new Thread[tasks.length];
for(int i = 0; i < tasks.length; i++)
threads[i] = new Thread(tasks[i]);
for(int i = 0; i < tasks.length; i++) {
threads[i].start();
threads[i].join();
}
System.out.println("Concurrent DB access:");
for(int i = 0; i < tasks.length; i++)
threads[i] = new Thread(tasks[i]);
for(int i = 0; i < tasks.length; i++)
threads[i].start();
for(int i = 0; i < tasks.length; i++)
threads[i].join();
}
private static class SqlTask implements Runnable {
String name, occupation;
public SqlTask(String name, String occupation) {
this.name = name;
this.occupation = occupation;
}
public void run() {
Connection conn = null;
PreparedStatement prep = null;
long startTime = System.currentTimeMillis();
try {
try {
conn = DriverManager.getConnection("jdbc:sqlite:test.db");
prep = conn.prepareStatement("insert into people values (?, ?)");
prep.setString(1, name);
prep.setString(2, occupation);
prep.executeUpdate();
long duration = System.currentTimeMillis() - startTime;
System.out.println(" SQL Insert completed: " + duration);
}
finally {
if (prep != null) prep.close();
if (conn != null) conn.close();
}
}
catch(SQLException e) {
long duration = System.currentTimeMillis() - startTime;
System.out.print(" SQL Insert failed: " + duration);
System.out.println(" SQLException: " + e);
}
}
}
}以下是我运行此java代码时的输出：
[java] Sequential DB access:
[java] SQL Insert completed: 132
[java] SQL Insert completed: 133
[java] SQL Insert completed: 151
[java] SQL Insert completed: 134
[java] SQL Insert completed: 125
[java] Concurrent DB access:
[java] SQL Insert completed: 116
[java] SQL Insert completed: 1117
[java] SQL Insert completed: 2119
[java] SQL Insert failed: 3001 SQLException: java.sql.SQLException: database locked
[java] SQL Insert completed: 3136连续插入5条记录大约需要750毫秒，我预计并发插入将花费大致相同的时间。但是你可以看到，如果有3秒的超时，他们甚至不会完成。我还用C语言编写了一个类似的测试程序，使用SQLite的本地库调用，完成同步插入的时间与并发插入的时间大致相同。所以问题出在我的java库上。
下面是我运行C版本时的输出：
Sequential DB access:
SQL Insert completed: 126 milliseconds
SQL Insert completed: 126 milliseconds
SQL Insert completed: 126 milliseconds
SQL Insert completed: 125 milliseconds
SQL Insert completed: 126 milliseconds
Concurrent DB access:
SQL Insert completed: 117 milliseconds
SQL Insert completed: 294 milliseconds
SQL Insert completed: 461 milliseconds
SQL Insert completed: 662 milliseconds
SQL Insert completed: 862 milliseconds我用两个不同的JDBC驱动程序( http://www.zentus.com/sqlitejdbc和http://www.xerial.org/trac/Xerial/wiki/SQLiteJDBC)和sqlite4java包装器测试了这段代码。每一次结果都是相似的。有没有人知道java的SQLite库没有这种行为？
回答 2
Stack Overflow用户
发布于 2012-05-23 02:21:35
这是core SQLite library的问题，而不是任何Java包装器的问题。SQLite使用基于文件系统的锁来实现进程间的并发访问同步，因为作为嵌入式数据库，它没有专用的进程(服务器)来调度操作。由于代码中的每个线程都创建自己的数据库连接，因此它被视为一个单独的进程，通过基于文件的锁进行同步，这比任何其他同步方法都要慢得多。
此外，SQLite不支持每行锁定(还没有？)。基本上，对于每个操作，整个数据库文件都变成了locked。如果您很幸运，并且您的文件系统支持字节范围锁，那么多个读取器可能会同时访问您的数据库，但是您不应该假设这种行为。
没有问题的核心SQLite库by default allows multiple threads to use the same connection concurrently。我假设任何正常的JDBC包装器都会在Java程序中允许这种行为，尽管我还没有实际尝试过。
因此，您有两种解决方案：
- 在所有线程之间共享相同的JDBC连接。
- 由于SQLite开发人员似乎认为threads are evil，您最好让一个线程处理所有数据库操作，并使用Java代码自行序列化DB任务...
您可能想看看this old question of mine -它似乎积累了一些关于随着时间的推移在SQLite中提高更新性能的技巧。
Stack Overflow用户
发布于 2014-11-24 18:20:19
我对多个线程使用相同的连接。此外，我还必须使db-write方法同步，否则我仍然会得到bussy错误。
https://stackoverflow.com/questions/10707434
复制相似问题
腾讯云开发者
