注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

snoopyxdy的博客

https://github.com/DoubleSpout

 
 
 

日志

 
 

Node.js用mongodb的cursor扫描1千万表  

2016-04-07 09:23:51|  分类: node |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
最近有这样一个需求,依次对1000万数据的表,进行每条记录依据不同逻辑的update操作,考虑到是全表的操作,于是考虑使用 cursor 游标来一个个修改,时间上没有限制。

Node.js 天生异步,所以代码不得不使用递归的形式来变现,大致伪代码如下:

function next(cursor){
    cursor.next(function(err, data){
              //处理data,update
              if(finish) return console.log("finish it !");
              return next(cursor);
    })
}

var cursor = db.find(....);
next(cursor);

但是每次都在跑到500万左右的时候,报错了,报错如下:

Uncaught RangeError: Maximum call stack size exceeded

错误信息意思就是爆栈了,那我们就需要让js对栈进行一个gc或者回收,修改代码如下:
function next(cursor){
    cursor.next(function(err, data){
              //处理data,update
              if(finish) return console.log("finish it !");
              return setTimeout(function(){ next(cursor); },0);
    })
}

var cursor = db.find(....);
next(cursor);
顺利执行完成1000万的扫描,使用 process.NextTick 是无效的



  评论这张
 
阅读(422)| 评论(1)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016