Bitmap解决10亿手机号码去重实践案例，BitSet压缩存储30倍
假设有一个需求，需要对10亿的数据，进行去重比如手机号码，身份证号码等大批量数据？
或者我们需要在日志数据中，筛选出活跃用户该如何操作呢？或者是批量导入Excel数据，找出重复的数据，相同类型的数据做处理等解决方案的实现，我们需要考虑性能，存储等维度去分析如何实现才能更加合理
最常见的三种实现方式讲解：
1.数组存储，然后for循环判定，进行去重麻烦，复杂度较高
2.Hashset，通过hash取模，判定数据是否重复方便，天然集合特性
3.推荐的一种方式bitmap的方式
几种实现方式及其差别，请详见如图所示
通过上图计算可以得知，bitmap可以以最小的内存代价，实现10亿数据去重
我们再来看一下Bitmap的数据结构和判定去重的实现原理，如下图：
以上就是使用bitmap来实现大批量数据判定去重的实现方式，接下来我们使用Java代码具体实现一下，因为在Java中有一个bitset是一个超级大的数组来实现，java中没有bit，所以使用long类型来代替，long类型有8字节，就是64位，一个long类型可以分为64位就是64个bit
public static void main(String[] args) {
BitSet bitSet=new BitSet();
bitSet.set(5);
boolean flag = bitSet.get(5);
// 打印结果就是 flag = true
System.out.println("flag = " + flag);
boolean flagIndex = bitSet.get(4);
// 打印结果就是 flagIndex = false
System.out.println("flagIndex = " + flagIndex);
// 实现电话号码的需求
// 152 7092 4356 电话号码前三位都是号码段，都是固定的，所以可以使用map存储，然后剩余的几位可以放到BitSet中去
bitSet.set(70924356);
HashMap<String, BitSet> objectObjectHashMap = new HashMap<>(10);
BitSet bitSet152 = objectObjectHashMap.computeIfAbsent("152", k -> new BitSet());
// 因为bitSet只能使用Integer类型 如果只使用8个位，那么就是8乘10亿/8288608
bitSet152.set(70924356);
}
以上就是使用bitmap解决Bitmap解决10亿手机号码去重实践案例，BitSet压缩存储30倍甚至更多的解决方案
