Hibernate、JDBC和Java在中大结果集上的性能
问题
我们正在尝试优化我们的数据服务器应用程序。它通过mysql数据库存储股票和报价。而且我们对抓取性能并不满意。
上下文
- database
- table stock : around 500 lines
- table quote : 3 000 000 to 10 000 000 lines
- one-to-many association : one stock owns n quotes
- fetching around 1000 quotes per request
- there is an index on (stockId,date) in the quote table
- no cache, because in production, querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling测试和结果
协议
- 在mysql服务器上的执行时间是通过在mysql命令行bin中运行生成的sql查询来获得的。
- 服务器处于测试上下文中:没有其他数据库读取，没有数据库写入
- 我们为苹果股票
获取了857个报价
案例1:带关联的Hibernate
这将用857Quotes对象填充我们的股票对象(所有在hibernate.xml中正确映射的对象)
session.enableFilter("after").setParameter("after", 1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId", stockId)).
setFetchMode("quotes", FetchMode.JOIN).uniqueResult();生成的SQL：
SELECT this_.stockId AS stockId1_1_,
this_.symbol AS symbol1_1_,
this_.name AS name1_1_,
quotes2_.stockId AS stockId1_3_,
quotes2_.quoteId AS quoteId3_,
quotes2_.quoteId AS quoteId0_0_,
quotes2_.value AS value0_0_,
quotes2_.stockId AS stockId0_0_,
quotes2_.volume AS volume0_0_,
quotes2_.quality AS quality0_0_,
quotes2_.date AS date0_0_,
quotes2_.createdDate AS createdD7_0_0_,
quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC结果：
mysql服务器上的
- 执行时间：~10
- 时间，单位: Java：~400ms
案例2:没有关联而没有HQL的Hibernate
为了提高性能，我们使用了只获取quotes对象的代码，并手动将它们添加到股票中(这样我们就不会为每一行都获取关于股票的重复信息)。我们使用createSQLQuery来最小化别名和HQL混乱的影响。
String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());生成的SQL：
SELECT *
FROM quote q
WHERE stockId='AAPL'
AND q.date>1322910573000
ORDER BY q.date ASC结果：
mysql服务器上的
- 执行时间：~10
- 时间，单位: Java：~370ms
案例3:没有Hibernate的JDBC
String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher")));
}
stmt.close();
conn.close();结果：
mysql服务器上的
- 执行时间：~10
- 时间，单位: Java：~100ms
我们的理解
JDBC驱动程序在所有情况下都是通用的
- 在JDBC中使用类似的sql查询驱动
- 有一个基本的时间开销，Hibernate在转换objects
- Hibernate createCriteria中的结果集上花费的时间比纯JDBC代码更多，createSQLQuery或createQuery在生产中的时间开销是相似的
- 在生产中，我们有大量的并发代码，纯JDBC解决方案似乎比hibernate解决方案慢(可能是因为我们的JDBC解决方案不是明智的，服务器看起来运行得很好，并且时间成本是非常可以接受的
<代码>F257>
我们的问题
- 有没有办法优化JDBC驱动程序的性能？
- ，Hibernate会对这种优化有好处吗？
- 在转换结果集时，有没有办法优化Hibernate的性能？
- 我们是否因为Java基本对象和内存管理而面临一些不可调的问题？
- 我们是不是漏掉了一个要点，我们是愚蠢的，所有这些都是徒劳的吗？
- 我们是法国人吗？是的，
非常欢迎您的帮助。
回答 1
Stack Overflow用户
发布于 2011-12-20 18:35:21
您是否可以使用简单的查询进行冒烟测试，例如：
SELECT current_timestamp()或
SELECT 1 + 1这将告诉您实际的JDBC驱动程序开销是多少。此外，目前还不清楚这两个测试是否在同一台机器上执行。
有没有办法优化JDBC驱动程序的性能？
在Java中运行相同的查询数千次。JVM需要一些时间来预热(类加载，JIT)。此外，我假设SimpleJDBC.getConnection()使用C3P0连接池-建立连接的成本相当高，因此最初的几个执行可能会很慢。
也更喜欢命名查询而不是即席查询或条件查询。
和Hibernate会对这种优化带来好处吗？
Hibernate是一个非常复杂的框架。正如您所看到的，与原始JDBC相比，它消耗了75%的总执行时间。如果您需要原始ORM (无延迟加载、脏检查、高级缓存)，请考虑mybatis。或者甚至可以使用RowMapper抽象的JdbcTemplate。
在转换结果集时，有没有优化Hibernate性能的方法？
不怎么有意思。查看Hibernate文档中的。有很多反射正在发生+类生成。同样，当您想从数据库中挤出每毫秒的时间时，Hibernate可能不是最佳解决方案。
然而，当您想要由于广泛的缓存支持而提高整体用户体验时，它是一个很好的选择。再次查看文档。它主要讨论缓存。有一级高速缓存、二级高速缓存、查询高速缓存...这就是Hibernate实际上可能超越简单JDBC的地方--它可以以一种你甚至无法想象的方式缓存很多东西。另一方面，糟糕的缓存配置会导致安装速度变慢。
查看：Caching with Hibernate + Spring - some Questions!
由于
基础对象和内存管理，我们是否面临着一些不可调优的问题？
JVM (特别是在服务器配置中)相当快。在堆上创建对象和在堆栈上创建对象一样快，例如在C中，垃圾收集已经得到了极大的优化。我不认为运行普通JDBC的Java版本会比更多的本机连接慢很多。这就是为什么我建议对您的基准测试进行很少的改进。
我们是不是漏掉了一点，我们是不是很愚蠢，所有这些都是徒劳的？
如果性能是您最大的问题，我认为JDBC是一个很好的选择。Java已经成功地应用于许多数据库密集型应用程序中。
https://stackoverflow.com/questions/8573636
复制相似问题