导入的背景

用户为了更方便进行批量的数据处理，系统提供导入功能来满足该需求。对研发人员来说，导入等价于批量处理数据。

导入存在的问题

系统层面：

导入数据过多，导致内存溢出（OOM），系统负载飙升。
大批量的事务提交。
如果有对外依赖，外部依赖不稳定将导致整个导入超时耗时。

用户层面：

导入耗时过长，只能等待，无法做其他事情。如果存在超时的情况那更加难以接受。
系统异常时，无法了解导入的结果。

方案

从用户层面的问题来看，长时间等待和无法了解导入的结果是无法忍受的。所以系统应该对导入任务进行异步处理，并提供导入结果查询。

从系统层面的问题来讲，既然是批量任务，那我们可以将其分解为小批量任务来处理。

一个实际的案例

背景：用户导入excel进行付款，这个过程需要根据导入的账单号批量到账单，然后对这个账单的金额修改，如果金额为0了，那么进行账单状态的变更，并通知其他业务系统。

导入流程

提交异步任务
初始化导入任务，使用线程池执行导入任务
解析
批量处理数据
可以在解析到一定的条数时执行批量处理数据
插入导入结果
一次批量处理完以后，插入导入结果。
完成任务

如上的方案是解析一批数据，然后对这一批数据进行批量处理，并插入批量导入结果。

查询和下载

提供查询导入任务和下载导入结果以方便用户了解导入结果

表设计

使用的MySQL5.7.28

1.导入任务表

CREATE TABLE `t_import_task` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `file_name` varchar(50) NOT NULL COMMENT '导入文件名称',
  `type` tinyint(1) NOT NULL COMMENT '导入类型',
  `status` tinyint(1) NOT NULL COMMENT '导入状态，0 导入中 1 导入完成',
  `creator` bigint(20) NOT NULL COMMENT '操作人',
  `creator_name` varchar(20) DEFAULT NULL COMMENT '操作人姓名',
  `start_time` datetime NOT NULL COMMENT '开始时间',
  `end_time` datetime DEFAULT NULL COMMENT '完成时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

2.导入任务详情表

CREATE TABLE `t_import_task_detail` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `import_task_id` bigint(20) DEFAULT NULL COMMENT '导入任务ID',
  `row_index` int(11) DEFAULT NULL COMMENT '第几行 从1开始',
  `row_data` varchar(2000) DEFAULT NULL COMMENT '每一行的数据',
  `status` tinyint(1) NOT NULL COMMENT '导入状态，0 未导入 1 导入成功 2 导入失败',
  `failure_reason` varchar(200) DEFAULT NULL COMMENT '导入失败原因',
  PRIMARY KEY (`id`),
  KEY `idx_import_task_id` (`import_task_id`)
) ENGINE=InnoDB AUTO_INCREMENT=65 DEFAULT CHARSET=utf8mb4

异常情况考虑

解析发生异常，会导致导入任务详情表中没有数据。此种情况用户也能观察到，因为导入的条数和下载的条数不相同。
解析到一半时，系统重启。此种情况和上面的情况一致。

进一步优化

多线程解析，加快解析速度。
多线程批量处理数据，加快处理速度。
导入结果数据过多，导致导入详情表数据过多，可以考虑定时清除导入数据。
在页面提供单行数据修改，并再页面提供单行数据重试功能。

导入方案的思考