数组去重是一个经常会用到的方法，我写了一个测试模板，测试一下常见的数据去重的方法的性能
测试模板
let arr1 = Array.from(new Array(100000), (x, index)=>{
return index
})
let arr2 = Array.from(new Array(50000), (x, index)=>{
return index+index
})
let start = new Date().getTime()
console.log('开始数组去重')
function distinct(a, b) {
// 数组去重
}
console.log('去重后的长度', distinct(arr1, arr2).length)
let end = new Date().getTime()
console.log('耗时', end - start)
1、Array.filter() + indexOf
方法思路：将两个数组拼接为一个数组，然后使用 ES6 中的 Array.filter() 遍历数组，并结合 indexOf 来排除重复项
function distinct(a, b) {
let arr = a.concat(b);
return arr.filter((item, index)=> {
return arr.indexOf(item) === index
})
}
1.png
2、双重 for 循环
方法思路：外层循环遍历元素，内层循环检查是否重复，当有重复值的时候，可以使用 push()，也可以使用 splice()
function distinct(a, b) {
let arr = a.concat(b);
for (let i=0, len=arr.length; i<len; i++) {
for (let j=i+1; j<len; j++) {
if (arr[i] == arr[j]) {
arr.splice(j, 1);
// splice 会改变数组长度，所以要将数组长度 len 和下标 j 减一
len--;
j--;
}
}
}
return arr
}
2.png
3、for...of + includes()
方法思路：双重for循环的升级版，外层用 for...of 语句替换 for 循环，把内层循环改为 includes()。先创建一个空数组，当 includes() 返回 false 的时候，就将该元素 push 到空数组中 。类似的，还可以用 indexOf() 来替代 includes()
function distinct(a, b) {
let arr = a.concat(b)
let result = []
for (let i of arr) {
!result.includes(i) && result.push(i)
}
return result
}
3.png
4、Array.sort()
方法思路：首先使用 sort() 将数组进行排序，然后比较相邻元素是否相等，从而排除重复项
function distinct(a, b) {
let arr = a.concat(b)
arr = arr.sort()
let result = [arr[0]]
for (let i=1, len=arr.length; i<len; i++) {
arr[i] !== arr[i-1] && result.push(arr[i])
}
return result
}
4.png
5、new Set()
ES6 新增了 Set 这一数据结构，类似于数组，但Set 的成员具有唯一性
function distinct(a, b) {
return Array.from(new Set([...a, ...b]))
}
5.png
6、for...of + Object
方法思路：首先创建一个空对象，然后用 for 循环遍历，利用对象的属性不会重复这一特性，校验数组元素是否重复
function distinct(a, b) {
let arr = a.concat(b)
let result = []
let obj = {}
for (let i of arr) {
if (!obj[i]) {
result.push(i)
obj[i] = 1
}
}
return result
}
6.png
测试结果一目了然，几种方法的性能 6>5>4>3>1>2
数组对象去重
let arrObj = [
{ id: 1, book: '语文' },
{ id: 1, book: '语文' },
{ id: 4, book: '数学' },
{ id: 3, book: '英语' },
{ id: 1, book: '语文' },
{ id: 4, book: '语文' }
];
let map = new Map();
for (let item of arrObj) {
if (!map.has(item.id)) {
map.set(item.id, item);
};
};
arr = [...map.values()];
console.log(arr);
去重结果
[
{id: 1, book: '语文'}
{ id: 3, book: '英语'}
{ id: 4, book: '数学'}
]
