QQ郵箱——騰訊IPv6規模部署和應用案例

作者：騰訊企業郵箱    發布時間：2023-08-11 19:58:38  訪問量：1492  

QQ郵箱——騰訊IPv6規模部署和應用案例

一、概述

2017年底，中共中央辦公廳、國務院辦公廳聯合印發《推進互聯網協議第六版(IPv6)規模部署行動計劃》，明確提出“用5到10年時間，形成下一代互聯網自主技術體系和產業生態，建成全球最大規模的IPv6商業應用網絡，實現下一代互聯網在經濟社會各領域深度融合應用，成為全球下一代互聯網發展的重要主導力量”的目標。隨后中央網信辦、工業和信息化部連續三年發文推動IPv6改造工作，鼓勵和支持國內用戶量排名前100位的商業網站及應用支持IPv6接入。

二、案例描述

1、案例介紹

QQ郵箱自2002年上線，其依托于騰訊集團及騰訊云強大的基礎網絡能力，向用戶提供安全、穩定、快速、便捷的電子服務。自推出服務以來，因其簡潔易用，良好的用戶體驗，深受廣大用戶喜愛，目前已成為中國大陸最受歡迎的免費郵箱服務產品。

2、架構設計

圖1 QQ郵箱總體架構圖

1)GSLB提供DNS以及httpdns解析，為用戶返回最近的接入點。

2)TGW作為統一接入網關，實現多網統一接入以及自動負載均衡。

3)PROXY提供邏輯層的功能路由。

4)LOGIC提供郵箱各項功能及服務。

3、實施方案

QQ郵箱的改造主要包括以下幾個部分：支持AAAA記錄、雙棧改造、客戶端改造、PROXY及LOGIC改造，其中GSLB作為最基礎的流量調度，是此次改造最基礎的部分。

3.1 支持AAAA記錄

用戶訪問互聯網的服務一般都是使用域名，在IPv6到來的時代，如何將域名轉換成對應的IPv6地址，DNS的AAAA記錄發揮著重要作用。

圖2 用戶請求域名AAAA記錄示意圖

AAAA解析實際上并不能完全實現IPv6時代業務流量的精準調度，此時的GSLB權威還是只支持IPv4鏈路的請求，對于用戶使用IPv6鏈路過來的請求到達不了GSLB的權威服務器，那么接下來需要做的就是對GSLB進行雙棧改造。

3.2 雙棧改造

雙棧改造主要涉及到兩個部分，一個是GSLB權威雙棧的開發，另一個則是GSLB權威雙棧的灰度上線。

3.2.1 開發部分

圖3 GSLB權威示意圖

對于GSLB權威雙棧的開發，主要分三步走：數據的同步、雙棧協議的實現、域名的解析。

1)地址庫同步

在支持雙棧鏈路之后，用戶會通過IPv6鏈路訪問權威服務器，那么IPv6地址庫也就成了GSLB必不可少的一環。

2)雙棧協議的實現

GSLB權威服務基于DPDK實現，摒棄了Linux內核協議棧，那么在處理雙棧鏈路請求的時候，需要自己處理IPv4以及IPv6協議，保證解析的高效和穩定。

3)域名解析

對于用戶的域名請求，根據用戶請求的IP地址或者攜帶的IP地址(ECS)，判斷IP地址的歸屬，然后根據IP對應的地址庫(IPv4查找IPv4的地址庫，IPv6則查找IPv6的地址庫)，查找對應的國家-省份-運營商信息，返回該域名最匹配的RR記錄，實現雙棧的流量調度。

3.2.2 灰度部分

初版IPv6地址庫通過手工方式生成完畢，業務側需求高漲，在此背景下，灰度上量成了最迫切的需求，如何保證雙棧權威的解析系統可以正常使用，同時也保證灰度過程全程可控呢?

此時，通過上線一套獨立的雙棧權威解析系統，新建testipv6.com域名后綴授權到雙棧權威，該后綴域名在控制面可以通過日常域名操作平臺進行域名的增刪改查操作，解析面通過支持雙棧地址庫同步的agent同步IPv4和IPv6地址庫到權威服務器，對于存量業務，不更改接入域名的前提，建議業務通過小流量地區+運營商cname到雙棧權威域名的方式進行域名解析。

3.3 客戶端的改造

客戶端改造的重點在于，用戶雙棧環境下，優先使用IPv6鏈路，當IPv6鏈路不通或者質量不好的情況下，可以盡快切到IPv4鏈路，保障客戶端使用體驗。

1)雙棧下IPv6優先

客戶端的改造重點在于保障用戶接入質量的前提下完成雙棧優先IPv6的改造要求，以及在IPv6單棧情況下可以直接訪問接入通道。

2)失敗回退

當前支持IPv6的用戶，基本都為雙棧用戶，因此可以基于測速邏輯、失敗重試、緩存最優接入IP等方式實現出現錯誤后回退到IPv4.

3)灰度可控

支持基于用戶id、省份/運營商的灰度能力，保證質量可控。

3.4 PROXY及邏輯服務改造

郵箱服務歷史久遠，郵箱服務中，有大量基于IP地址的邏輯，因此改造過程幾乎涉及郵箱服務的所有功能模塊。

改造的步驟也是先進行后端的邏輯改造，首先完成反垃圾基礎頻率服務、郵件身份識別等改造。同時反垃圾識別算法進行升級，避免IPv6流量進入后，因IP資源泛濫導致垃圾郵件漏過。

其次完成PROXY的IPv6地址傳遞，LOGIC層IP的處理以及日志記錄等一系列和IP相關的邏輯。

4、安全及可靠性

反垃圾能力，是保證郵件服務基礎體驗的核心，在改造中，針對IPv6.我們主要做了以下準備：

1)IPv6地址庫，用于判斷用戶登錄地、運營商做異常登錄判斷;

2)IPv6屬性庫，建議基于IPv6地址的畫像，積累IPv6的行為屬性特征、郵件行為特征;

3)IPv6聚集算法，在IPv4時代，我們可以通過IPC來進行聚集。IPv6時代，我們根據IPv6的分配原則以及業務上的特征，在不同的場景使用不同的聚類算法。

三、實施效果

經過多方面的改造升級，目前QQ郵箱已全面上線，全部功能支持IPv6協議訪問。對所有用戶進行了IPv6放量支持，只要用戶網絡環境及終端設備支持IPv6協議，在使用QQ郵箱時即可通過IPv6協議來訪問。在雙棧環境下，IPv6流量占比約占87%。

聲明：本文由騰訊企業郵箱收集整理的《QQ郵箱——騰訊IPv6規模部署和應用案例》，如轉載請保留鏈接:http://www.sdwslz.com/news_in/2049