显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

snoopyxdy的博客

https://github.com/DoubleSpout

 
 
 
 
 
 

go里面的几种继承写法

2017-6-23 17:01:31 阅读114 评论0 232017/06 June23

package main

import (
"fmt"
)

type s1 struct {
a string
}
type s2 struct {
s s1
x string
}
type s3

作者  | 2017-6-23 17:01:31 | 阅读(114) |评论(0) | 阅读全文>>

关于移动端和苹果设备的防爬虫注意

2017-5-3 9:58:13 阅读178 评论0 32017/05 May3

最近上线快2年的防爬虫系统,被业务同事说有误栏情况,想着已经平稳上线近2年的老系统,应该不会出现这样的情况。

原来出问题的是MAC机器,并且是使用 Safari 浏览器的问题。原来Safari浏览器有一个设置,和苹果手机一
样,“cookie 只允许访问过的网站写入”,这样,如果利用jsonp的跨域名的方式写cookie是行不通的,这也就是误栏的原因。

另外这样的情况在苹果手机端也是有的,还有手Q浏览器的UA是会变的,而且移动端因为wifi和4g的切换,导致可能在短时间内IP的变更,所以对防爬虫也有一定的挑战。

作者  | 2017-5-3 9:58:13 | 阅读(178) |评论(0) | 阅读全文>>

《亿级流量网站架构核心技术》读后笔记

2017-5-1 13:25:36 阅读181 评论0 12017/05 May1

《亿级流量网站架构核心技术》读后笔记 - snoopyxdy - snoopyxdy的博客
这本是就职于京东的开涛写的架构方面的书籍,全书知识点很多,主要还是偏架构方面的。
本书前面拉了很多人帮忙写序,很遗憾,我直接跳过的,一般这种序都是作者帮忙写好,找名人署名的~哈哈。

1、数据闭环
这个是本书中反复强调一个词,应该也是本书出现频率最高的词了。我的理解就是,由于某一种服务依赖的第三方接口过多,任何一个第三方接口的问题,都会导致这个服务不可用,所以我们就需要对这个服务做好数据闭环。其实同程旅游在做酒店最小价实时计算的时候,也是采用了这种策略,将所有依赖的第三方服务都整合进来,虽然很麻烦,但是做到了数据闭环,至少能保证服务的提供不会出错。

2、数据异构
数据异构也是本书提到很多次,在数据库分片之后,数据异构也是必须做到的。比如我们是根据用户id作为分片,但是如果现在想查询某一个地区的用户时,我们就必须每片数据库都去扫描数据,并且做聚合。当有大量的这类需求时,我们就必须做数据异构了

作者  | 2017-5-1 13:25:36 | 阅读(181) |评论(0) | 阅读全文>>

关于Mongodb在Docker里跑的坑

2016-12-27 11:38:43 阅读261 评论0 272016/12 Dec27

把Mongodb存入Docker跑的时候注意,可能会遇到Mongodb数据库使用系统swap内存的问题,原因是在启动Docker的时候增加了内存限制,建议只需要在mongodb的配置文件里限制cachesize,而不用在Docker启动时限制

另外也踩到一个mongodb3.2的游标的坑,尽量不要使用mongodb的游标了,会增加内存的使用量,具体原因就不说了,尽量使用 _id 和 limit(1) 来进行游标的类似操作

另外还需要注意文件系统,docker跑的文件系统使用ext4,不能使用xfs

作者  | 2016-12-27 11:38:43 | 阅读(261) |评论(0) | 阅读全文>>

Mongodb内嵌文档的upsert需求实现

2016-12-19 20:25:46 阅读181 评论0 192016/12 Dec19

最近在工作有需要使用 mongodb 的 upsert 实现,起初表设计是这样的:

// 表 youlun
{
pid : 1234, //{产品Id},
name: "超级邮轮", //{产品名字},
priceDate: [ //这个字段是价格日历,里面存储了每天这个产品的价格和库存
{
date: 20161219,  //售卖日期
price: 1000,     //当天的售卖价格
rate: 80, //售卖折扣

作者  | 2016-12-19 20:25:46 | 阅读(181) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

江苏省 苏州市 射手座

 发消息  写留言

 
专注互联网技术
 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
博友列表加载中...
 
 
 
 
 

发现好博客

 
 
列表加载中...
 
 
 
 
 
 
 
列表加载中...
 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018

注册 登录  
 加关注