Watermelon Superman

Hahaha hahaha

新建亚马逊云计算博客

最近做了一个艰难的决定, 全力研究云计算, 新建了一个博客: 可靠云服务 这个博客目前专注于跟踪亚马逊云服务(Amazon Web Service)的动态, 也会针对初级用户做一些入门介绍

欢迎访问和讨论 :)

Http协议中的Content-Length

上阵子业务部门报告web server有很严重的bug,说是server经常提前关闭下载连接,然后浏览器就把不完全的文件交给了用户,导致服务不可用.

追查得到的信息是,客户端是qq手机浏览器,通过gprs上网,网速很慢,有时候可能导致server认为tcp连接超时而切断连接. 假设一个文件2M,客户端收到了1.5M,之后停顿15秒,则server关闭连接,客户端就把这1.5M的文件当作完整文件交给上层应用,导致服务不可用.

实际上,我们的http回复是有Content-Length头部的,这个头部指明了文件长度是2M.根据http协议4.4节的规定,客户端必须告知用户接收到的文件长度和content-length不一致,但是qq手机浏览器没有这样做.这是违反http协议的.

之后用firefox和ie测试拉一个jpg文件, 故意把content-length写得比实际发送的数据大, 发现这些浏览器也没有遵守这条规定,都是默默的就把图片解析并展现出来了, 也许是出于避免太频繁的骚扰用户的考虑,毕竟网络失败是比较常见的.

但是我在http回复中把Content-Type设置为application/octet-stream,让firefox启动下载管理弹窗,在接收到的数据明显小于Content-Length的情况下, firefox还是默默的显示下载成功,这个就太不厚道了.

修改了web server, 异常切断改用rst包而不是fin包,浏览器就都报错了.

http://www.w3.org/Protocols/rfc2616/rfc2616-sec4.html#sec4.4

4.4 Message Length

When a Content-Length is given in a message where a message-body is allowed, its field value MUST exactly match the number of OCTETs in the message-body. HTTP/1.1 user agents MUST notify the user when an invalid length is received and detected.

Vmware内应用程序不回应Syc包的问题

我在工作PC（win7系统）装了一个vmware， 跑suse，默认是开启ssh服务的，但是从win7上用ssh客户端怎么都连不上。

开始怀疑是防火墙的问题， 我把win7自带的防火墙关闭了，还是没有效果。

然后怀疑是本地服务没有启动，但是从suse内用ssh客户端是能登录的，netstat也显示端口22是打开的。

最终祭出了tcpdump这个神器，在suse上抓包，发现来自win7发送的syc包到达了suse，但是suse上没有任何回应，三次握手没有完成。

崩溃掉，无法理解这种奇怪的现象。

time_t的类型

time_t没有标准，由实现者自由定义。

在linux中，定义如下

typedef __time_t time_t; // time.h
__STD_TYPE __TIME_T_TYPE __time_t; // bits/types.h
#define __TIME_T_TYPE __SLONGWORD_TYPE // bits/typesizes.h

也就是signed long int，这个类型在32位系统下是32位的， 64位系统下是64位。

--
Best Regards

雪崩效应

我们的分发系统要从一个源节点向N个末端节点分发F个文件，N在10到200之间，F
则在1个/天到10000个/天之间，文件大小在32byte到2G 之间。这些节点可能散布
在新疆北京深圳，电信网通教育网。末端节点获知源节点有文件要分发的时候，用
udp协议向源节点发送request，而源节点回复 reply包。为了提高效率，我们加了
一个中间节点，这个中间节点把要分发的文件分片cache在自己的内存里，这样只
要一个末端请求了123.flv文件的0x101分片，其余的末端再请求123.flv的0x101分
片的时候，中间节点就可以直接返回给它了。

问题来了，我们最近发现发送的文件如果总大小很大，比如5个小时内向60个ping
值差异很大的节点发送500个80M的文件，则cache会失效，中间节点疯狂的向源节
点转发末端节点的request包，源节点被迫不断的做磁盘随机读取，由于源节点上
磁盘随机读取非常耗时间，于是源节点无法及时回应请求包，而这又导致末端节点
继续发送请求，形成雪崩效应。源节点上listen端口的Recv－Q长久维持一个最高
值。于是整个系统的效率急剧下降。以前1G 的文件五分钟可以分发完毕，但是现
在我们上周试图同时分发50G文件，发了一个周末只有几百M的文件被发出去了。

这里根本的问题就是我们的系统没有过载保护。

有意思的一些玩意

1.Taobao的TOP API
2.Linux下的搜够输入法，可以实现依据搜索关键词更新词库