Spring Batch 3 - 读文件写数据库

本篇文件,我们来进一步学习Spring Batch3:读取解析日志文件并插入到数据库中。这是一个非常常见的场景:应用系统产生的日志,通过Spring Batch解析入库。

源文件

  • 假定我们要读取的源文件的每行的格式如下(共5部分,用逗号分隔,分别为:时间、请求url、用户、请求时长、userAgent):
2016-11-18 13:21:25,/test/core/postXY,sx_yuanchaozhong,4,/test/1.201610201/IOS/iPhone OS 10.0.2/iPhone8_1/31991EB3-60FF-4DCF-B90A-DE5E1F1026D7

目标表(mysql)

  • 数据插入的表结构:
CREATE TABLE `access` (
  `date_str` varchar(50) NOT NULL,
  `path` varchar(200) NOT NULL,
  `userCode` varchar(100) NOT NULL,
  `time` int(11) DEFAULT NULL,
  `userAgent` varchar(200) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Bean

  • 为了方便解析和处理,我们增加一个javaBean实体类,对应日志文件中的每一行分隔后的数据:
public class AccessBean {
 private String dateStr;//日期字符串
 private String path;//路径
 private String userCode;//用户
 private Integer time;//请求时长(毫秒)
 private String userAgent;//客户端
//getter and setter ....
}

Spring Batch 代码实现

Spring Batch 实现包括三部分:ItemReader、ItemProcessor、ItemWriter

  • ItemReader实现:主要实现按行读取文件,分隔行并映射到实体类AccessBean中。Spring Batch3默认提供有很多常见的ItemReader,其中就包括我们所需要的ItemReader:org.springframework.batch.item.file.FlatFileItemReader,我们不需要自己实现。
  • ItemProcessor实现:由于我们是解析后直接插入数据库,不做处理,所以ItemProcessor不用实现
  • ItemWriter实现:把数据插入到数据库中。Spring Batch3默认也提供了我们所需要的ItemWriter:org.springframework.batch.item.database.JdbcBatchItemWriter,通过jdbc连接插入到数据库中。

Spring Batch3 默认提供了很多常见场景下的Reader和Writer的实现,所以很多场景下都不需要自己再实现。

Spring Batch Job配置

  • Job
<batch:job id="readFile2DBJob">
        <batch:step id="readFile2DBStep">
            <batch:tasklet>
                <batch:chunk reader="logReader" writer="mysqlItemWriter" commit-interval="1000" >
                </batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>

commit-interval="1000" 指每读1000行进行处理(读1000行才会提交到Processor和Writer)

  • ItemReader - logReader
<!-- 文件读取Reader -->
    <bean id="logReader" class="org.springframework.batch.item.file.FlatFileItemReader">
        <!-- 要读取的资源文件 -->
        <property name="resource" value="file:/my/access.log"></property>
        <!-- 行处理 -->
        <property name="lineMapper">
            <bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
                <!-- 行处理bean -->
                <property name="lineTokenizer" ref="accessLineTokenizer"></property>
                <!-- 行映射bean -->
                <property name="fieldSetMapper">
                    <!-- 通过lineTokenizer解析的结果会自动填充accessBean对象 -->
                    <bean class="org.springframework.batch.item.file.mapping.BeanWrapperFieldSetMapper">
                        <property name="prototypeBeanName" value="accessBean"></property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>

FlatFileItemReader需要两个参数:resourcelineMapper.而lineMapper同样需要两个参数:lineTokenizerfieldSetMapper

  • lineTokenizer :定义行的分隔方式和分隔后数据存储的方式,配置如下:
<!-- 行解析 -->
    <bean id="accessLineTokenizer" class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer">
        <!-- 行按逗号分隔 -->
        <property name="delimiter" value=","></property>
        <!-- 分隔后的字段对应的key,注意顺序。这里配置5个,说明一行是由5部分组成的,如果某行逗号分隔后是4或者6,就会报错 -->
        <property name="names">
            <list>
                <value>dateStr</value>
                <value>path</value>
                <value>userCode</value>
                <value>time</value>
                <value>userAgent</value>
            </list>
        </property>
    </bean>
  • fieldSetMapper :定义如何映射行数据到实体类,这里通过BeanWrapperFieldSetMapper类来进行实体映射。

  • ItemWriter

 <!-- mysql Write -->
    <bean id="mysqlItemWriter" class="org.springframework.batch.item.database.JdbcBatchItemWriter">
        <!-- 数据源,这里使用了与spring batch元数据表同一个数据源,也可以根据实际情况换成任意数据源 -->
        <property name="dataSource" ref="dataSource" />
        <!-- 插入表的sql语句 -->
        <property name="sql">
            <value>
            <![CDATA[
               INSERT INTO access
                    (date_str, `path`, userCode, `time`, userAgent)
                    VALUES(:dateStr, :path, :userCode, :time, :userAgent)
            ]]>
            </value>
        </property>
        <!-- 匹配sql参数名与实体类accessBean属性 -->
        <property name="itemSqlParameterSourceProvider">
            <bean class="org.springframework.batch.item.database.BeanPropertyItemSqlParameterSourceProvider" />
        </property>
    </bean>
  • 运行Job
App.run("readFile2DBJob");

至此,读取文件插入数据库的工作已经全部完成。可以看出,开发的代码量很少。

附完整代码

https://git.oschina.net/heichong/spring-batch-demo

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,908评论 18 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,948评论 6 342
  • 目的:通过jdbc连接读取数据库的记录,写入到单个文件中 源数据表 我们还以上篇文章解析后的结果作为源数据表。 写...
    heichong阅读 4,171评论 0 3
  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,764评论 18 399
  • “你有忘不了的人吗? 就好像已经深入骨髓,渗进血液,与自己的生命共存一样。人世浮沉,只在偶然间想起,却在记忆里永远...
    Selene_乔木阅读 1,321评论 9 22