QQ邮箱性能优化.ppt

QQ邮箱系统优化广州研发中心HarveyAIL总体架构服务器性能优化网络性能优化代码框架优化QQMAIL总体架构(简图)QQMAIL总体架构Web:支持95%的登录请求。提供读信、写信、用户信息管理等功能。BG:邮件队列,负责将本域用户发出的邮件投递到目标地址。MX(Mail eXchange):接收外域邮件运营商发往本域的邮件。POP/SMTP:提供基于Mail Client的服务。QS:向QQ Client提供新邮件Notify服务。Account:存储邮箱名/UIN映射关系。以及开通状态等主属性。MS(Mail Storage):存储邮件实体。IndexServer:用户个人信息,包括:邮件索引(发件人、主题、MS FileID等),文件夹,帐户配置信息、个人过滤规则、个人黑白名单6种数据。目录QQMAIL总体架构服务器性能优化网络性能优化代码框架优化服务器性能优化从何处入手?服务器性能优化-数据收集注:2006年4月数据,目前(2007年10月)约为当时的10-15倍。系统主要瓶颈为IndexServer的Disk I/O。数据量600G,4,000万小文件。QS查询:,BITMAP过滤后的有效次数1,800万/天(仅访问新邮件索引)--每次QQ登录仅访问一次,内存Cache效果差。IndexServer读访问:6,266万/天(不含QS查询),内存Cache命中率(保持10/30/60/120/960分钟)分别为:73%,76%,78%,78%,82%。IndexServer增/删/改访问:1,590万/天。服务器性能优化-设定目标优化Index Disk I/O支持数据扩展--不修改服务器代码条件下动态扩展结构支持备份避免风险--采用简单设计服务器性能优化方案-NewMailSvr构建专门的“新邮件服务器”,面向QS (占总查询量的22%),专用于缓存新邮件索引数据。特点:无内存Cache每用户使用固定4K盘块存储最近若干封新邮件按UIN直接定位盘块偏移位置服务器性能优化方案-IndexServer引入内存Cache:选择半小时76%命中率方案改变存储结构:散列文件=>桶文件10,000连续UIN划分一个用户组。One Group One Lock数据分配以块为单位。每用户组有15个桶文件,分别用于分配1K/2K/4K/…/16M的数据块(2倍递增)。使用桶文件头部的BITMAP管理数据块。