QQ 空间技术架构之深刻揭密

编者按：由 InfoQ 主办的全球架构师峰会将于2012 年8 月10 日-12 日在深圳举行，为了更好地诠释架构的意义、方法和实践，InfoQ 中文站近期会集中发布一批与架构相关的文章，本篇即为其中之一。InfoQ 也欢迎读者亲身参与到本次全球架构师峰会中，与来自国内外的顶尖架构师进行面对面的交流。报名参会请点击。

QQ 空间作为腾讯海量互联网服务产品，经过近七年的发展，实现了从十万级到亿级同时在线的飞跃。在这个过程中，QQ 空间团队遇到了哪些技术挑战？其站点前后台架构随着业务规模的变化又进行了怎样的演进与变迁？成长背后有过怎样的心酸和快乐……

4.26 日晚间，腾讯大讲堂·深圳首站《QQ 空间技术架构之峥嵘岁月》活动在腾讯总部腾讯大厦多功能厅举办，腾讯 Web 前端研发领域专家、腾讯最早的专职 Web 开发团队核心成员、Qzone 核心架构研发总监徐晓在两小时的演讲中揭开了 QQ 空间技术架构背后的秘密。

正式分享之前，徐晓介绍了 QQ 空间目前的海量服务数据规模（图 1）：

拥有 5.5 亿的活跃用户过万台的设备数千万级别的同时在线数十亿级别的全站 PVP 级的 UGC 存储量每天千亿级别的服务请求

图 1——QQ 空间海量服务数据规模

接下来，徐晓把 QQ 空间成长和发展的历程分成三个阶段：石器时代、冷兵器时代和现代战争时代，分享了 QQ 空间从开始甚至难以生存，到逐步发展成国内最大的 SNS 社区产品背后的酸甜苦辣。

石器时代–从十万在线到百万在线

石器时代是 QQ 空间 1.0 到 3.0 稳健上线的过程。

徐晓说：“QQ 空间在石器时代遇到的最大难题就是如何生存？如何让这个襁褓中的产品活下来？如何积累第一批宝贵的用户资源？”， 2005 年 QQ 空间首发，最初是采用传统的发放邀请码的方式征集第一批用户。第一款 QQ 空间是嵌在独立的客户端软件中，看似是个客户端，其实是一个浏览器内核，里面都是 HTML 页面，以网站的方式存在。 当初的架构非常简单，采用了 Apache 搭建 Web Server，Mysql 保存最终数据。用户通过{uin}.qzone.qq.com(uin 就是用户的 QQ 号码) 这样的方式访问自己的空间。最开始上线时，仅邀请了电信用户。但上线之后才发现很多北方网通用户也非常希望来体验。但如果让北方网通用户跨网来访问电信的服务，那将是一个非常糟糕的体验。因为当时的跨网之间的带宽是非常有限的。

为了满足网通用户的需求，QQ 空间团队在网通搭建了一套与电信一模一样的服务，电信的用户数据只存在电信的服务器上，网通用户数据只存在网通服务器上。看似异地分布，其实两部分数据是互相独立、不能冗余的。在用户注册开通空间时，就确定了他的数据存在于哪个服务器上。

用户访问空间的逻辑抽象来说是这样的（如图 2）：用户通过浏览器发起请求访问我们的第一个 CGI，这个 CGI 再串行的获取用户数据，比如：装扮数据，日志数据等。等获取到全部数据之后，这个 CGI 再将所有的数据拼装成一个完整的 HTML 页面输出给用户。

图 2——Qzone2.0 典型载入逻辑

但同时，空间第一版的独立客户端也带来了各种问题和烦恼：

第一：非常不利于定位问题。

一旦页面元素填写失败，定位问题将是一件麻烦的事情。因为它不是 Web 页面，所以只能用其他抓包软件，比如 Ethereal（Wireshark 的前身）来抓取网络包做分析。但那个时候网络抓包工具的能力还比较弱，没有高亮和 HTML 语法检测等功能，所以整体环境比较受限。

第二：服务接入层压力大。

由于不仅要接受用户的请求，还要向后访问不同的数据。当后端某一个接口超时严重的情况下，很多用户的请求都会被挂起。这样就会消耗更多的连接资源，对 Web 服务器 CPU 的消耗很大。

第三：服务集群没有发挥出应有的服务能力

当时共用 30-40 台服务器，也只能支持 50 万左右的用户。无奈之下，团队想了一个没办法的办法：有意限制超过五十万用户，提出了一个排队等待机制，学习海底捞模式，当在线人数达到 50w 的时候，QQ 空间会给用户展示一个 Flash 小游戏，让用户在等待的时候玩小游戏。

针对当时存在的种种问题，团队做了以下改进来解决：

第一：采用 Web RIA。

当时大量使用了 Ajax 技术来减轻服务器的负载。其中一个极端的例子是：整个空间首页都是采用 JS 绘制，这样能够将用户访问的 CGI 足够轻量化。尽量简化了 CGI 逻辑，让 CGI 程序运行更加强壮、效率更高。同时，当服务异常时，还可以通过 JS 脚本绘制一个错误信息给予用户提示。而且，采用 JS 开发效率更高，调试更方便。 Web RIA 化后，降低了服务器 CPU 消耗的 40%，节约了 DC 的输出带宽约 30%（部分 JS 脚本都可以被浏览器 Cache 住）。

第二：采用动静分离策略。

静态资源都放在自研的 Web 服务器 qhttpd 上，它具备当时 ApacheSelect 模型的两个数量级以上的接入能力。

第三：采用自研的 Web Server：Qzhttp，主要用于动态分离的动态服务的需要。

由于 Qzhttp 是腾讯自研的、轻量的、更适合业务自己逻辑的 Web Server，从而保证了它的高性能，它的接入能力比 Apache (非 FastCGI 模式) 提高了 3 倍。

石器时代做的最大的优化：

当用户申请 QQ 空间多个服务时，每个服务都有独立的存储和处理逻辑。只有当所有的服务处理完成，才会由 QQ 空间框架服务器返回给用户。这样对于同时依赖日志、相册、音乐、留言的服务就会产生两大问题：

短板效应一损俱损；具体业务容量无法差异化。

针对这两个问题，做了首页载入性能优化及首页内容静态化系统两方面的优化：

研究用户访问模型。拉取展现与 UGC 内容的变更比例是 7：1。用户之间互访频繁，看他人与看自己的比例是 5：1.。通过以上数据，可以看出用户的 UGC 更新很少，但是用户之间互相访问很频繁。根据用户的这种访问模型，空间团队研发了一套静态化系统（图 3）。这套系统会将用户首页的内容全部 Cache，然后根据用户的访问，以及用户自己 UGC 内容的更改，采用一定策略更新静态化系统的 Cache 数据。 通过增加首页内容静态化系统，首页展现速度从 5s 提升到 3s，用户也不用再玩小游戏进行等待。同时在设备没有扩容的前提下，同时在线用户访问数突破 100w。