中午和同事吃饭，席间讨论到数组去重这一问题
我立刻就分享了我常用的一个去重方法，随即被老大指出这个方法效率不高
回家后我自己测试了一下，发现那个方法确实很慢
于是就有了这一次的高性能数组去重研究
一、测试模版
数组去重是一个老生常谈的问题，网上流传着有各种各样的解法
为了测试这些解法的性能，我写了一个测试模版，用来计算数组去重的耗时
// distinct.js
let arr1 = Array.from(new Array(100000), (x, index)=>{
return index
})
let arr2 = Array.from(new Array(50000), (x, index)=>{
return index+index
})
let start = new Date().getTime()
console.log('开始数组去重')
function distinct(a, b) {
// 数组去重
}
console.log('去重后的长度', distinct(arr1, arr2).length)
let end = new Date().getTime()
console.log('耗时', end - start)
这里分别创建了两个长度为 10W 和 5W 的数组
然后通过 distinct() 方法合并两个数组，并去掉其中的重复项
数据量不大也不小，但已经能说明一些问题了
二、Array.filter() + indexOf
这个方法的思路是，将两个数组拼接为一个数组，然后使用 ES6 中的 Array.filter() 遍历数组，并结合 indexOf 来排除重复项
function distinct(a, b) {
let arr = a.concat(b);
return arr.filter((item, index)=> {
return arr.indexOf(item) === index
})
}
这就是我被吐槽的那个数组去重方法，看起来非常简洁，但实际性能。。。
是的，现实就是这么残酷，处理一个长度为 15W 的数组都需要 8427ms
三、双重 for 循环
最容易理解的方法，外层循环遍历元素，内层循环检查是否重复
当有重复值的时候，可以使用 push()，也可以使用 splice()
function distinct(a, b) {
let arr = a.concat(b);
for (let i=0, len=arr.length; i<len; i++) {
for (let j=i+1; j<len; j++) {
if (arr[i] == arr[j]) {
arr.splice(j, 1);
// splice 会改变数组长度，所以要将数组长度 len 和下标 j 减一
len--;
j--;
}
}
}
return arr
}
但这种方法占用的内存较高，效率也是最低的
四、for...of + includes()
双重for循环的升级版，外层用 for...of 语句替换 for 循环，把内层循环改为 includes()
先创建一个空数组，当 includes() 返回 false 的时候，就将该元素 push 到空数组中
类似的，还可以用 indexOf() 来替代 includes()
function distinct(a, b) {
let arr = a.concat(b)
let result = []
for (let i of arr) {
!result.includes(i) && result.push(i)
}
return result
}
这种方法和 filter + indexOf 挺类似
只是把 filter() 的内部逻辑用 for 循环实现出来，再把 indexOf 换为 includes
所以时长上也比较接近
五、Array.sort()
首先使用 sort() 将数组进行排序
然后比较相邻元素是否相等，从而排除重复项
function distinct(a, b) {
let arr = a.concat(b)
arr = arr.sort()
let result = [arr[0]]
for (let i=1, len=arr.length; i<len; i++) {
arr[i] !== arr[i-1] && result.push(arr[i])
}
return result
}
这种方法只做了一次排序和一次循环，所以效率会比上面的方法都要高
六、new Set()
ES6 新增了 Set 这一数据结构，类似于数组，但 Set 的成员具有唯一性
基于这一特性，就非常适合用来做数组去重了
function distinct(a, b) {
return Array.from(new Set([...a, ...b]))
}
那使用 Set 又需要多久时间来处理 15W 的数据呢？
喵喵喵？？？ 57ms ？？我没眼花吧？？
然后我在两个数组长度后面分别加了一个0，在 150W 的数据量之下...
居然有如此高性能且简洁的数组去重办法？！
七、for...of + Object
这个方法我只在一些文章里见过，实际工作中倒没怎么用
首先创建一个空对象，然后用 for 循环遍历
利用对象的属性不会重复这一特性，校验数组元素是否重复
function distinct(a, b) {
let arr = a.concat(b)
let result = []
let obj = {}
for (let i of arr) {
if (!obj[i]) {
result.push(i)
obj[i] = 1
}
}
return result
}
当我看到这个方法的处理时长，我又傻眼了
15W 的数据居然只要 16ms ？？？ 比 Set() 还快？？？
然后我又试了试 150W 的数据量...
总结
以上所述是小编给大家介绍的JavaScript 高性能数组去重的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
js数组去重
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。