最近做的项目中,涉及到查询大量数据,并根据需要额外计算出的字段手动排序分页返回的功能,这里简单记录。
设想下面一个场景,数据库有三张表,楼宇表、企业表、员工表。有k个楼宇,每个楼宇下有n个企业,每个企业有m个员工,每个员工每日要填报当日的身体健康情况,要查询并分页返回员工填报率最高的十个企业信息。假设kmn的数量级非常大,且楼宇表、企业表、员工表每条记录的字段较多。
思路
首先确定解决方案的主表是企业表。为了避免读取大量数据到内存中导致内存溢出,先自定义dto查询出所有企业id和对应的填报数据量和员工总量,甚至可以直接从sql中计算出企业id和对应填报率。根据填报率排序结束后获取符合条件的id,回查数据库。
然后可在dto中自定义Comparator
,java8的集合排序非常方便,Comparator
接口新增了很多静态的比较方法,可以方便地对多种类型的数据和多个字段排序:
@Data
public class BuildingCompleteVO {
public static final Comparator<BuildingCompleteVO> COMPARATOR =
//先根据完成率排序
Comparator.comparingDouble(BuildingCompleteVO::getCompletePercent)
//完成率相同的情况下再根据id排序
.thenComparingInt(BuildingCompleteVO::getId)
//默认为升序排序,reversed改为倒序
.reversed();
public static final Comparator<BuildingCompleteVO> COMPARATORV2 =
Comparator.comparingDouble(BuildingCompleteVO::getCompletePercent);
private int id;
//......
private double completePercent;
}
List接口中新增的sort方法:void sort(Comparator<? super E> c)
接口实现大致如下:
@Override
public Page<BuildingCompleteVO> getBuildingEnterpriseRecordPage(int pageNum, int pageSize, boolean isEsc, String date) {
//首先查出所有楼宇中企业的填报完成情况
List<BuildingCompleteVO> list = getBuildingInfoCompleteList(date);
//isEsc 作为升序还是倒序排序的条件
list.sort(isEsc ? BuildingCompleteVO.COMPARATORV2 : BuildingCompleteVO.COMPARATORV2.reversed());
//排序后查出符合条件的企业信息
List<BuildingCompleteVO> result = PageUtil.getSubList(list, pageNum, pageSize);
//在筛选出结果后获取id集合回查数据库,这里应该是获取对应的企业id,演示代码就不深究了
List<Integer> idList = setNullListIfNull(result.stream().map(BuildingCompleteVO::getId).collect(Collectors.toList()));
Map<Integer, BuildingEntity> map = buildingEntityRepo.findAllByIdIn(idList).stream()
.collect(Collectors.toMap(BuildingEntity::getId, b -> b));
//....
return new PageImpl<>(result, PageRequest.of(pageNum - 1, pageSize), list.size());
}
PageUtil实现:
public class PageUtil {
private static int getStart(int pageNum, int pageSize) {
pageNum = Math.max(pageNum - 1, 0);
return pageNum * pageSize;
}
private static int getEnd(int pageNum, int pageSize) {
return pageNum * pageSize;
}
/**
* 根据分页参数获取子列表
*
* @param list
* @param pageNum
* @param pageSize
* @return
*/
public static <T> List<T> getSubList(List<T> list, int pageNum, int pageSize) {
int start = getStart(pageNum, pageSize);
int end = Math.min(list.size(), getEnd(pageNum, pageSize));
return list.subList(start, end);
}
}