首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >mybatis 流式读取大量MySQL数据

mybatis 流式读取大量MySQL数据

作者头像
suveng
发布2019-09-18 14:35:21
6.9K0
发布2019-09-18 14:35:21
举报

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/qq_37933685/article/details/85100239

title: MyBatis 流式读取MySQL大量数据 date: 2018-12-19 12:00:00 +0800 update: 2018-12-19 12:00:00 +0800 author: me cover: images/wallhaven-715203.jpg tags:

  • MyBatis preview: JDBC三种读取方式: 1.一次全部(默认):一次获取全部。 2.流式:多次获取,一次一行。 3.游标:多次获取,一次多行。 由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后再生成Excel返回给客户端。

文章目录

  • MyBatis 流式读取MySQL大量数据
    • 背景:
    • 开发环境:
    • 实现步骤:
    • 示例代码
    • 心路历程

MyBatis 流式读取MySQL大量数据

背景:

最近公司提了个需求,说公司的旧系统的报表导出的时候,数据量超过一万就导不出来了。经过分析,是旧系统做了限制。在更新的时候,查看了导出时虚拟机GC情况,发现原先程序执行时,内存激增,经过Google决定采用流式读取对sql进行优化。

JDBC三种读取方式: 1.一次全部(默认):一次获取全部。 2.流式:多次获取,一次一行。 3.游标:多次获取,一次多行。 mybatis默认采取第一种。

开发环境:

jdk1.8 、intellij IDEA 2018

mybatis 3 、 springMVC 、Spring 4

实现步骤:

实现流式读取的方式不止一种,但是我只能说我解决的这种,对不起,我不是大神级的。

这里采用的 controller、service、dao分层开发

  • 在service层调用dao接口是,增加一个回调参数ResultHandler<>。
  • 对应的dao接口返回值为void
  • mapper 填写 parameterType、resultMap、resultSetType=“FORWARD_ONLY”、fetchSize="-2147483648"

为什么dao返回值为void还要在mapper写resultMap?因为回调要用你的resultMap处理,但是不应该返回给service,因为回调处理好了

示例代码

controller层:

@RequestMapping("/export")
  public void export(Vo vo, String props,
      HttpServletResponse response) {

    //.......
      list = ossVipCustomService.selectForwardOnly(vo, Order.build());
    //......
  }

service层:(重点)

public List<Bo> selectForwardOnly(Vo vo, Order order) {
     final List<Bo> list = new ArrayList<>();
    mapper.selectForwardOnly(vo, order, new ResultHandler<Bo>() {
      @Override
      public void handleResult(ResultContext<? extends Bo> resultContext) {
        /**回调处理逻辑 */
        list.add(resultContext.getResultObject());
      }
  });
    return list;
  }

dao层:(重点)

  /**
   * 流式读取数据
   * @param vo 查询对象
   * @param order 排序
   * @param ossVipCustomerBoResultHandler 回调处理
   */
  void selectForwardOnly(@Param("record") Vo vo, @Param("order") Order order,
      ResultHandler<Bo> handler);

mapper:(重点)

<select id="selectForwardOnly"
  parameterType="com.*.Vo" resultMap="GetListBo"
    resultSetType="FORWARD_ONLY" fetchSize="-2147483648">
    SELECT
    *
    FROM
    customer
  </select>

个人原因:删除非关键部分代码。你肯定看的懂得。

心路历程

Google了好久的一个原因,就是因为dao接口不应该返回值的。还麻烦了老大过来看了一眼。

还有就是google出来的那些,要改框架配置的,我的确跟着改了,改了mysql连接参数,还有mybatis setting的配置。嗯,没用。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年12月19日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文章目录
  • MyBatis 流式读取MySQL大量数据
    • 背景:
      • 开发环境:
        • 实现步骤:
          • 示例代码
            • 心路历程
            相关产品与服务
            云数据库 SQL Server
            腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档