注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

snoopyxdy的博客

https://github.com/DoubleSpout

 
 
 

日志

 
 

Sqlalchemy count 巨慢的坑  

2015-08-19 10:10:43|  分类: python |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
在使用Flask - Sqlalchemy 时,遇到了 count 操作巨慢,而且内存彪满的情况,原代码如下:
#计算user表,年龄大于10的条数
count = userModel.query.filter(userModel.age>10).count()

在数据量小的情况下,没有任何问题,当数据量上升到百万级别,就会出现巨慢的情况,而且主机内存一下子占用很多,原因如下,sqlalchemy会吧上述代码拼接成大致如下的sql:

select count(*) from(select * from user where age>10) ...

这是很坑爹的事情,就算我们改成如下代码也无济于事:

count = userModel.query.with_entities(userModel.Id).filter(userModel.age>10).count()

这样还是会拼接成大致如下的子查询:

select count(*) from(select Id from user where age>10) ...

所以如果涉及到大数据量count的操作,我们代码需要这样修改下:

count = db.session.query(func.count(userModel.Id)).filter(userModel.age>10).first()[0]

这样就会拼接成sql正常了:

select count(*) from user where age > 10 ...

回头再研究下,有没更加优雅的代码写法,这样比较丑陋。







  评论这张
 
阅读(451)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016