js针对大量数据的数据分块技术

针对

当js对数据量庞大的数组执行遍历时,会相当耗费时间和内存,因为js是单线程,因此在这个循环执行完之前会一直阻塞后面的代码执行,从而影响页面的渲染,逻辑绑定等等。这里讲下如何处理大数据的遍历的方法。

原始方法

遍历方法一般如下:

for(let i=0;i<data.length;i++) {
    processData(data[i]);
}

但是当面对庞大的数组时,上面代码执行的时间可能会相当长,下面来优化这个数组。

前提

优化的前提是,需要满足下面两个条件

  • 数据处理可以不同步运行
  • 数据处理可以不按顺序进行

具体方法

可以利用定时器去优化遍历数组,让遍历异步进行,这样就不会阻塞下面代码的执行,而且也可以正常遍历。具体代码如下:

function chunk (data) {
    setTimeout(function() {
        processData(data.shift());
        if (data.length > 0) {
            setTimeout(arguments.callee, 100);
        }
    }, 100);
}

上面方法主要是利用data.shift获取数组中第一个元素的值,对这个值执行数据处理方法,并检查该数组是否有下一项,有的话利用callee继续执行该函数。这里的延时时间是100ms,可以根据具体的业务场景调整。这项技术叫做数据分块

方法优化

由于某些处理程序需要带入上下文,因此可以将方法继续优化,如下:

function chunk (data, context) {
    setTimeout(function() {
        processData.call(context, data.shift());
        if (data.length > 0) {
            setTimeout(arguments.callee, 100);
        }
    }, 100);
}

context 可以传也可以不传,举一个具体例子:

let arr = [1,2,3,4,5,6,7,8,9,10],
    nowTime = +new Date();

function processData (data) {
    console.log(data, +new Date() - nowTime);
}

function chunk (data, context) {
    setTimeout(function() {
        processData.call(context, data.shift());
        if (data.length > 0) {
            setTimeout(arguments.callee, 100);
        }
    }, 100);
}

chunk(arr);

打印的结果如下:



可以看出遍历是异步执行,执行间隔为100ms。

注意:在这里是顺序执行的,但是如果间隔为0ms,并且数据处理程序需要执行很长时间时,就有可能导致遍历的方法不按顺序执行另外,shift方法是直接对原数组进行操作,所以如果不想要修改原数组时,可以传入原数组的拷贝。

let arr = [1,2,3,4,5,6,7,8,9,10],
    nowTime = +new Date();

function processData (data) {
    console.log(data, +new Date() - nowTime);
}

function chunk (data, context) {
    setTimeout(function() {
        processData.call(context, data.shift());
        if (data.length > 0) {
            setTimeout(arguments.callee, 100);
        }
    }, 100);
}

chunk(arr.concat());

这里利用了concat方法,生成了一个新数组,亦可以用extend等等,达到效果即可。

原文链接

the end.


3Fuyu

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 174,138评论 25 709
  • 打卡day10:今天上午栋要去参加写毛笔活动,他早上说不想去了,我说:“你答应老师了,如果别人答应你了又不去,你是...
    沈小丁子阅读 158评论 0 0
  • 如果进入一个圈子要花钱,你愿意吗? 1明天周末,义乌聚商盟的秘书和我打电话沟通说,明天有一个聚会,问我要不要去? ...
    熊芳菲阅读 259评论 0 0
  • 我恨 恨那白云 恨那白云遮住我 望你的双眼 我恨 恨那高山 恨那高山阻挡我 追赶你的步伐 我恨 恨它流水 恨那流水...
    一叶茶阅读 302评论 0 2