Spring Batch入门篇

Spring Batch,一个很多人还觉得陌生的框架,它是Spring Cloud Task的基础,主要用来实现批量任务的处理。该框架在国内的使用非常少,所以一直以来对于该框架在中文资料也一直都非常欠缺。

因此,在这里向大家推荐一位愿意将与我们分享Spring Batch技术细节的开源爱好者,也是我们spring4all.com社区的Spring Batch专题版主:杨小强童鞋!

下面我们就跟着他的系列文章一步步的了解Spring Batch的技术细节。

简介

SpringBatch 是一个大数据量的并行处理框架。通常用于数据的离线迁移,和数据处理,⽀持事务、并发、流程、监控、纵向和横向扩展,提供统⼀的接⼝管理和任务管理;SpringBatch是SpringSource和埃森哲为了统一业界并行处理标准为广大开发者提供方便开发的一套框架。

官方地址:github.com/spring-projects/spring-batch

  • SpringBatch 本身提供了重试,异常处理,跳过,重启、任务处理统计,资源管理等特性,这些特性开发者看重他的主要原因;
  • SpringBatch 是一个轻量级的批处理框架;
  • SpringBatch 结构分层,业务与处理策略、结构分离;
  • 任务的运行的实例状态,执行数据,参数都会落地到数据库;

快速入门

pom.xml 添加

<dependency>    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-batch</artifactId></dependency>

创建BatchConfig(可以是其他类名)

@Configuration
@EnableBatchProcessingpublic class BatchConfig {    // tag::readerwriterprocessor[]
   @Bean        public FlatFileItemReader<Person> flatFileItemReader() {
     FlatFileItemReader<Person> reader = new FlatFileItemReader<>();
     reader.setResource(new ClassPathResource("sample-data.csv"));
     FixedLengthTokenizer fixedLengthTokenizer = new FixedLengthTokenizer();
     reader.setLineMapper(new DefaultLineMapper<Person>() {{
         setLineTokenizer(new DelimitedLineTokenizer() {{
             setNames(new String[]{"firstName", "lastName"});
         }});
         setFieldSetMapper(new BeanWrapperFieldSetMapper<Person>() {{
             setTargetType(Person.class);
         }});
     }});        return reader;
  }

  @Bean       public JdbcPagingItemReader<Person> jdbcPagingItemReader(DataSource dataSource) {
     JdbcPagingItemReader<Person> reader = new JdbcPagingItemReader<>();
        reader.setDataSource(dataSource);
        reader.setFetchSize(100);

        reader.setQueryProvider(new MySqlPagingQueryProvider() {{
            setSelectClause("SELECT person_id,first_name,last_name");
            setFromClause("from people");
            setWhereClause("last_name=:lastName");
            setSortKeys(new HashMap<String, Order>() {{
                put("person_id", Order.ASCENDING);
            }});
        }});
        reader.setParameterValues(new HashMap<String, Object>() {{
            put("lastName", "DOE");
        }});
        reader.setRowMapper(new BeanPropertyRowMapper<>(Person.class));        return reader;
    }

  @Bean       public JdbcBatchItemWriter<Person> jdbcBatchItemWriter(DataSource dataSource) {
    JdbcBatchItemWriter<Person> writer = new JdbcBatchItemWriter<>();
    writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>());
    writer.setSql("INSERT INTO people (first_name, last_name) VALUES (:firstName, :lastName)");
    writer.setDataSource(dataSource);        return writer;
  }    
    // end::readerwriterprocessor[]

    // tag::jobstep[]
  @Bean      public Job importUserJob(JobBuilderFactory jobBuilderFactory, JobCompletionNotificationListener listener, Step step) {               return jobBuilderFactory.get("importUserJob")
          .incrementer(new RunIdIncrementer())
          .listener(listener)
          .start(step)
          .build();
  }

   @Bean       public Step step1(StepBuilderFactory stepBuilderFactory,                 ‍PersonItemProcessor processor,                 ItemWriter jdbcBatchItemWriter,                 ItemReader flatFileItemReader) { ‍              return stepBuilderFactory.get("step1")
                  .<Person, Person>chunk(10)
                .reader(flatFileItemReader)
                .processor(processor)
                .writer(jdbcBatchItemWriter)
                .build();
    }    // end::jobstep[]}

Spring Batch的分层架构

  • Insfrastructure 策略管理:包括任务的失败重试,异常处理,事务,skip,以及数据的输入输出(文本文件,DB,Message)
  • Core: springBatch 的核心,包括JobLauch,job,step等等
  • Application: 业务处理,创建任务,决定任务的执行方式(定时任务,手动触发等)

Spring Batch执行流程

敬请持续关注该系列文章

原文发布于微信公众号 - 程序猿DD(didispace)

原文发表时间:2017-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏LinkedBear的个人空间

浅析RPC与WebService

虽然现在非常火的RPC技术以SpringCloud和Dubbo(x)为主流,但是如果做接口调用,还是逃不了要用一些较传统的技术。前几天在做接口调用时恰巧用到了W...

2341
来自专栏IT 指南者专栏

MyBatis 框架之基础初识

? 1、什么是 MyBatis MyBatis 本是 apache 的一个开源项目 iBatis,后改名为 MyBatis,它 是一个优秀的持久层框架,对 ...

2847
来自专栏MasiMaro 的技术博文

OLEDB数据源

OLEDB虽然是基于COM的一组接口,但是它与标准的COM接口有点不同,它的一大特色在于它自身的属性设置,有的接口虽然对象中存在但是调用QueryInterfa...

1292
来自专栏菜鸟程序员

EternalBlue(永恒之蓝)工具漏洞利用细节分析

1612
来自专栏Java3y

Spring入门这一篇就够了

前言 前面已经学习了Struts2和Hibernate框架了。接下来学习的是Spring框架…本博文主要是引入Spring框架… Spring介绍 Spring...

2.1K6
来自专栏cmazxiaoma的架构师之路

IDEA入门(1)--lombok和Junit generator2插件的运用

1903
来自专栏A周立SpringCloud

Spring Boot、Dubbo项目Mock测试踩坑与总结

本文是对Spring Boot、Dubbo项目进行Mock测试的总结与踩坑实录。 搜索了一圈,居然没发现类似的文章,莫非用Dubbo的朋友们都不Mock测试,或...

6177
来自专栏世界第一语言是java

网站调用支付宝进行支付-Java后台调用支付宝支付

6183
来自专栏向治洪

Hibernate入门

Hibernate是什么     Hibernate是一个轻量级的ORMapping框架     ORMapping原理(Object Relational M...

2016
来自专栏信安之路

IAT 三连之什么是 IAT?

IAT 的全称是 ImportAddress Table。在可执行文件中使用其他 DLL 可执行文件的代码或数据,称为导入或者输入,当 PE 文件载入内存时,w...

1090

扫码关注云+社区