不用SQL，统计5000万笔订单总金额——fork join

效果演示

使用SQL

SELECT SUM(money) FROM tb_order WHERE id <=50000000;

结果

image.png

大概耗时：

image.png

使用Java fork join

image.png

由于使用Java需要对数据做进程间读取，所以Java计算速度稍慢。

关于 fork join

ForkJoin是由JDK1.7后提供多线并发处理框架。ForkJoin的框架的基本思想是分而治之。
什么是分而治之？
分而治之就是将一个复杂的计算，按照设定的阈值进行分解成多个计算，然后将各个计算结果进行汇总。相应的ForkJoin将复杂的计算当做一个任务。而分解的多个计算则是当做一个子任务。

image.png

具体Java代码

初始化5000W条订单数据略...
基于springboot mybatis构建项目

public interface TbOrderMapper {

    @Select("select money from tb_order where id>= #{beforeId} limit #{size}")
    List<Integer> selectMoney(@Param("beforeId") Integer beforeId, @Param("size") Integer size);

@SpringBootTest
@RunWith(SpringRunner.class)
public class TbOrderTest {
    @Autowired
    private TbOrderMapper tbOrderMapper;

    // 构建任务类
    private static class SumTask extends RecursiveTask<Long> {
        //叶子节点任务 处理数据量(计算)
        private static final int minCount = 5000;

        private int beginId;
        private TbOrderMapper tbOrderMapper;
        private Integer size;

        public SumTask(Integer beginId, Integer size, TbOrderMapper tbOrderMapper) {
            this.beginId = beginId;
            this.tbOrderMapper = tbOrderMapper;
            this.size = size;
        }

        @Override
        protected Long compute() {
            // 如果到达拆分的最小粒度则不再拆分，进行实质计算
            if (size <= minCount) {
                long sum1 = 0;
                // 由于本数据库表数据 主键id 自增，可以采取这种方式
                List<Integer> integers = tbOrderMapper.selectMoney(beginId, size);
                for (Integer integer : integers) {
                    sum1 += integer;
                }
                return sum1;
            }
            // 这里使用的是二分法进行任务拆分
            int mid = size / 2;
            int yu = size & 1;
            SumTask left = new SumTask(beginId, mid, tbOrderMapper);// 左子任务
            SumTask right = new SumTask(beginId + mid, mid + yu, tbOrderMapper);// 右子任务
            invokeAll(left, right); // 递归提交任务
            return left.join() + right.join(); // 合并结果
        }
    }
    @Test
    public void testAdd5000WMoney() {
        // 构建 fork join 线程池
        ForkJoinPool forkJoinPool = new ForkJoinPool(6);
        long l = System.currentTimeMillis();
        // 提交整体任务，同步等待 线程池 执行的最终join结果
        Long invoke = forkJoinPool.invoke(new SumTask(1, 50000000, tbOrderMapper));
        System.out.println("结果：" + invoke + "耗时：" + (System.currentTimeMillis() - l));
    }
}

最后编辑于：2020.05.30 20:47:07