使用Java Streams(流)查询数据库

在本文中,您将了解如何编写纯Java应用程序,这些应用程序能够使用来自现有数据库的数据,而无需编写一行SQL(或类似的语言,如HQL),也无需花费大量时间将所有内容组合在一起。在应用程序准备好之后,您将学习如何使用 in-JVM-acceleration(仅添加两行代码)加速超过1,000倍的延迟性能。

在本文中,我们将使用Speedment,它是一种Java stream ORM,可以直接从数据库模式生成代码,并可以自动将Java Streams呈现为SQL,允许您使用纯Java编写代码。

您还将发现,数据访问性能可以通过直接从RAM运行流的in-JVM-memory技术显著提高。

示例数据库

我们将使用来自MySQL的示例数据库Sakila。它有电影、演员、类别等表格,可以免费下载 here.

步骤 1: 连接到数据库

我们将开始配置pom。您可以在这里找到使用Speedment Initializer的xml文件,点击 here下载. 您将得到带有主文件夹的项目。java文件自动生成。

接下来,解压项目文件夹zip文件,打开命令行,然后转到解压文件夹(pom所在的文件夹).xml文件)。

接下来,执行命令行:

mvn speedment:tool

这将启动加速工具,并提示您输入许可证密钥。选择“Start Free”,您将自动免费获得许可证。现在您可以连接到数据库并开始:

步骤 2: 生产代码

从数据库加载模式数据之后,可以通过按“Generate”按钮生成完整的Java领域模型。

这只需要一两秒钟。

步骤 3: Write the Application Code

与步骤2中的域模型一起,将自动生成Speedment实例的构建器。打开main.java文件,并将main()方法中的代码替换为以下代码片段:

SakilaApplication app = new SakilaApplicationBuilder()
    .withPassword("sakila-password") // Replace with your own password
    .build();

接下来,我们将编写一个应用程序来打印所有的电影。诚然,这是一个小应用程序,但是我们将在本文中对其进行改进。

// Obtains a FilmManager that allows us to
// work with the "film" table
FilmManager films = app.getOrThrow(FilmManager.class);
// Create a stream of all films and print
// each and every film
films.stream()
    .forEach(System.out::println);

是不是很简单?

在运行时,Java流将自动执行幕后的SQL。为了实际查看呈现的SQL代码,请修改我们的应用程序构建器并启用使用流日志类型的日志记录:

SakilaApplication app = new SakilaApplicationBuilder()
    .withPassword("sakila-password")
    .withLogging(ApplicationBuilder.LogType.STREAM)
    .build();

这是运行应用程序时SQL代码的样子:

SELECT
    `film_id`,`title`,`description`,`release_year`,
    `language_id`,`original_language_id`,`rental_duration`,`rental_rate`,
    `length`,`replacement_cost`,`rating`,`special_features`,`last_update`
 FROM
     `sakila`.`film`,
values:[]

呈现的SQL代码可能因所选择的数据库类型而异(例如MySQL、MariaDB、PostgreSQL、Oracle、MS SQL Server、DB2、AS400等)。这些变化是自动的。

上面的代码将产生以下输出(为了简洁而缩短):

FilmImpl { filmId = 1, title = ACADEMY DINOSAUR, ..., length = 86, ... }
FilmImpl { filmId = 2, title = ACE GOLDFINGER, ..., length = 48, ...}
FilmImpl { filmId = 3, title = ADAPTATION HOLES, ..., length = 50, ...}
...

步骤 4: 过滤

高速流支持包括过滤器在内的所有流操作。假设我们只过滤那些超过60分钟的电影。这可以通过向我们的应用程序添加这一行代码来实现:

films.stream()
    .filter(Film.LENGTH.greaterThan(60))
    .forEach(System.out::println);

SQL:

SELECT
    `film_id`,`title`,`description`,`release_year`,
    `language_id`,`original_language_id`,`rental_duration`,`rental_rate`,
     `length`,`replacement_cost`,`rating`,`special_features`,
    `last_update`
FROM
    `sakila`.`film`
WHERE
    (`length` > ?),
 values:[60]

生成的输出:

FilmImpl { filmId = 1, title = ACADEMY DINOSAUR, ..., length = 86, ... }
FilmImpl { filmId = 4, title = AFFAIR PREJUDICE, ..., length = 117, ...}
FilmImpl { filmId = 5, title = AFRICAN EGG, ... length = 130, ...}

过滤器可以结合创建更复杂的表达式如下所示:

films.stream()
    .filter(
        Film.LENGTH.greaterThan(60).or(Film.LENGTH.lessThan(30))
    )
    .forEach(System.out::println);

这将返回所有小于30分钟或大于1小时的影片。检查您的日志文件,您将看到这个流也被呈现给SQL。

Step 5:控制顺序

默认情况下,流中元素出现的顺序是未定义的。要定义特定的顺序,您可以对流应用一个sort()操作,如下所示:

films.stream()

    .filter(Film.LENGTH.greaterThan(60))
    .sorted(Film.TITLE)
    .forEach(System.out::println);

Rendered SQL:

SELECT
    `film_id`,`title`,`description`,`release_year`,
    `language_id`,`original_language_id`,`rental_duration`,`rental_rate`,
    `length`,`replacement_cost`,`rating`,`special_features`,
    `last_update`
FROM
    `sakila`.`film`
WHERE
    (`length` > ?)
ORDER BY
    `length` ASC,
values:[60]

输出:

FilmImpl { filmId = 77, title = BIRDS PERDITION,..., length = 61,...}
FilmImpl { filmId = 106, title = BULWORTH COMMANDMENTS,..., length = 61,}
FilmImpl { filmId = 114, title = CAMELOT VACATION,..., length = 61,..}
...

您还可以组合多个排序器来定义主顺序、次顺序等等。

films.stream()
    .filter(Film.LENGTH.greaterThan(60))
    .sorted(Film.LENGTH.thenComparing(Film.TITLE.reversed()))
    .forEach(System.out::println);

将按长度顺序(升序)和标题顺序(降序)对电影元素进行排序。您可以组合任意数量的字段。

NB:如果要按升序组合两个或多个字段,应该使用字段的method.comparator()。

I.e. sorted(Film.LENGTH.thenComparing(Film.TITLE.comparator())) rather than just sorted(Film.LENGTH.thenComparing(Film.TITLE))

步骤 6: 分页和避免大对象块

通常,人们希望对结果进行分页,以避免使用不必要的大型对象块。假设我们希望每页看到50个记录,我们可以编写以下通用方法:

private static final int PAGE_SIZE = 50;
public static <T> Stream<T> page(
    Manager<T> manager,
    Predicate<? super T> predicate,
    Comparator<? super T> comparator,
    int pageNo
) {
    return manager.stream()
        .filter(predicate)
        .sorted(comparator)
        .skip(pageNo * PAGE_SIZE)
        .limit(PAGE_SIZE);
}

此实用程序方法可以使用任何过滤器来分页任何表,并按任何顺序对其进行排序。

例如,调用:

page(films, Film.LENGTH.greaterThan(60), Film.TITLE, 3)

将返回一个超过60分钟的电影流,并按显示第三页的标题进行排序(跳过150部电影并显示以下50部电影)。

Rendered SQL:

SELECT
    `film_id`,`title`,`description`,`release_year`,
    `language_id`,`original_language_id`,`rental_duration`,`rental_rate`,
    `length`,`replacement_cost`,`rating`,`special_features`,
    `last_update`
FROM
    `sakila`.`film`
WHERE
    (`length` > ?)
ORDER BY
     `title` ASC
LIMIT ? OFFSET ?,
values:[60, 50, 150]

Generated output:

FilmImpl { filmId = 165, title = COLDBLOODED DARLING, ... length = 70,...}
FilmImpl { filmId = 166, title = COLOR PHILADELPHIA, ..., length = 149... }
FilmImpl { filmId = 167, title = COMA HEAD, ... length = 109,...}
...

同样,如果我们使用另一种数据库类型,SQL代码会略有不同。

步骤 7: In-JVM-Memory 加速

由于在初始化器中使用了标准配置,所以pom.xml中启用了in - jvm -memory加速文件。要在应用程序中激活加速,只需修改初始化代码如下:

SakilaApplication app = new SakilaApplicationBuilder()
    .withPassword("sakila-password")
    .withBundle(InMemoryBundle.class)
    .build();
    // Load data from the database into an in-memory snapshot
    app.getOrThrow(DataStoreComponent.class).load();

现在,表流将直接从RAM中提供,而不是呈现sql查询。内存中的索引也会加速过滤、排序和跳过。内存中的表和索引都是堆外存储的,因此它们不会增加垃圾收集的复杂性。

在我的笔记本电脑(Mac Pro,15英寸,2015年中期,16 GB,i7 2.2 GHz),查询延迟降低了流的因素超过1000,我计算匹配过滤和排序的电影流相比,针对标准安装运行的MySQL数据库(版本5.7.16)在我的本地机器上运行。

总结

在本文中,您已经了解了使用纯Java流查询现有数据库是多么容易。您还看到了如何使用in-JVM-memory stream技术加速对数据的访问。Sakila数据库和Speedment都是免费下载和使用的,所以自己试试吧。

请关注公众号:程序你好

原文发布于微信公众号 - 程序你好(codinghello)

原文发表时间:2018-09-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

MySQL频繁停库的问题分析(r12笔记第33天)

最近也抽空帮一些网友解决一些问题,有些是Oracle,有些是MySQL,有时候虽然忙忙乎乎,但是解决问题之后还是很有成就感的。 今天来说一个蛮有意思的问...

575100
来自专栏程序员的SOD蜜

单数据库,多数据库,单实例,多实例不同情况下的数据访问效率测试

最近公司的项目准备优化一下系统的性能,希望在数据库方面看有没有提升的空间,目前压力测试发现数据库服务器压力还不够大,Web服务器压力也不是很大的情况下,前台页面...

270100
来自专栏杨建荣的学习笔记

gqlplus的简单使用(r6笔记第43天)

使用sqlplus的时候如果命令敲错之后,可能很多情况下需要重新再敲一遍,也可以用一些快捷方式,但是如果想查看之前执行的sql语句,list选项就无能为力了,它...

32490
来自专栏漏斗社区

代码审计| 从今天起,做一个精致的多米咖!

0x00 背景 在看CNVD漏洞库的时候发现有师傅发了某cms前台SQL注入漏洞,通过查阅漏洞描述可知道存在问题的参数是cardpwd,便开始尝试对该版本的c...

37380
来自专栏涤生的博客

天池中间件大赛——单机百万消息队列存储设计与实现

这次天池中间件性能大赛初赛和复赛的成绩都正好是第五名,本次整理了复赛《单机百万消息队列的存储设计》的思路方案分享给大家,实现方案上也是决赛队伍中相对比较特别的。

24810
来自专栏祝威廉

ElasticSearch Recovery 分析

org.elasticsearch.indices.cluster.IndicesClusterStateService.clusterChanged 被触发后...

21730
来自专栏python爬虫实战之路

Python爬虫-百度模拟登录(二)

参数值都看到了,token、tt、dv、callback这些变化的参数我们都知道了吧,其他的参数固定,别问我为什么。这个logincheck注意到了吗?是不是有...

19230
来自专栏一枝花算不算浪漫

[Java面试七]Mybatis总结以及在面试中的一些问题.

504140
来自专栏帘卷西风的专栏

关于cocos2dx中文转UTF8码的解决方案

转载请注明出处:帘卷西风的专栏(http://blog.csdn.net/ljxfblog)

14830
来自专栏数据库新发现

Php部分常见问题总结

Php部分常见问题总结 作者:未知 来源:未知 1:为什么我得不到变量

16220

扫码关注云+社区

领取腾讯云代金券