摘要:騰訊的 "金蛋 "無疑是大量社交、游戲等領域積累的文本、音頻、視頻和關系類數據。這些數據是騰訊后來在多元業務擴展時屢試不爽的重型武器,本文為您解密誕生“金蛋”的騰訊數據中心的秘密。
互聯網行業是大數據的正兒八經的"大客戶",無論是從海量、速度、實時、類型等任何角度都當之無愧。在成為用戶最多的中國互聯網公司后,騰訊這只專下"金蛋"的企鵝所掌握的用戶數據量也日益豐富。
如果說阿里巴巴擁有90%以上的電商數據,百度擁有70%以上的搜索數據,騰訊的"金蛋"無疑是大量社交、游戲等領域積累的文本、音頻、視頻和關系類數據。這些數據是騰訊后來在多元業務擴展時屢試不爽的重型武器,有分析人士說,"數據挖掘"才是騰訊最具門檻性質的技術。
無論是云,通過網絡隨需調用的計算資源;大數據,關聯的可分析在線數據;還是各種智能終端,都要依托互聯網,同時這些工具又幫助互聯網從中掘金。當然,在數據成為"金蛋"前還有個前提,就是獲取數據,并有效的梳理與標簽。
騰訊公司數據平臺助理總經理蔣杰曾驕傲地表示,在國內互聯網體系中,騰訊擁有的數據覆蓋多個領域,總存儲數據量經壓縮處理以后在100PB左右。騰訊QQ目前擁有8億用戶,4億移動用戶,在數據倉庫存儲的數據量單機群數量已達到4400臺,總存儲數據量經壓縮處理以后在100PB左右,并且這一數據還在以日新增200TB到300TB,月增加10%的數據量不斷增長,現在騰訊的數據平臺部們正在為1000個PB做準備。
如果對各種TP和PB還缺乏感性認識,可以用幾個每天都會用到的業務說明騰訊目前數據量的龐大:僅QQ以及微信用戶每天上傳的照片,就是中國一個中型互聯網公司一個月的數據量;2014年除夕夜的高峰時段,每分鐘有1000萬條微信、3270萬條QQ信息發出;微信團隊專門為一些高頻祝福語設置了隱形的彩蛋功能,比如微信內容中出現"萬事如意、大吉大利",屏幕上就會乒乒乓乓掉落很多桔子……事后統計,除夕當天中國人的手機上共掉落了65億多個桔子,如果榨成汁,足夠灌滿289個水立方。
"微模塊"之路
要應對不斷爆炸的業務數據需求,騰訊的數據中心部門一直處于"連跑帶顛"的追趕狀態。"業務部門對我們的要求經常以'周'甚至'天'為周期。"騰訊網絡平臺部數據中心架構師李典林表示,正是快速、靈活、可擴展、高能效的要求,讓騰訊自然而然地走上了微模塊數據中心的道路。
從2010年起,騰訊已經推出了幾個版本的微模塊數據中心;經過不斷測試驗證,目前已經形成了定型的版本。目前,騰訊對微模塊數據中心的標準定義是,以若干機架為基本單位,包含制冷模塊、供配電模塊以及網絡、布線、監控在內的獨立的運行單元。"麻雀雖小,五臟俱全",這是李典林對騰訊微模塊數據中心的形象評價。
騰訊的模塊化數據中心設計遵循"從小到大"的原則,即從機架、IT微模塊、機房模塊、建筑單體和園區逐層設計;而模塊化數據中心建設遵循"從大到小"的原則,即從園區、建筑單體、機房模塊、IT微模塊到機架逐層實施。"如果把服務器看成標準磚頭,機柜看成廚房/陽臺/洗手間,微模塊就是小戶型套房。通過微模塊,我們可以不斷復制堆疊,形成機房樓,乃至整個園區。"
騰訊的微模塊數據中心在制冷和供電方式實現了諸多創新。據李典林介紹,騰訊的微模塊數據中心不再采用傳統的架高地板制冷模式,而是采用了行級空調近距離送風以及冷通道密封技術,這大大減少了制冷的耗能和成本。
在供電方面,李典林表示,騰訊大多數數據中心已經不再采用傳統的UPS,而是轉而采用"高壓直流(50%)+市電(50%)"的供電模式。"采用這種供電方案后,市電沒有中間轉換損耗,效率高達100%;高壓直流側可采用節能休眠模式,全負載范圍內可以達到94%以上高效率。因此,綜合供電效率高達97%。此外,未來還可以無縫升級成市電主供+高壓直流后備的供電模式,達到99%以上供電效率。"
位于深圳龍崗區國人通信科技園的坪山數據中心,是深圳聯通為騰訊量身訂制的數據中心,騰訊負責合建數據中心及微模塊相關技術標準和規范的制定,而中興通訊集團下屬的中興網信則擔任工程設計建設總承包商的角色。由于坪山中心是聯通根據騰訊的需求訂制的,因而簡化了傳統運營商數據中心根據客戶需求進行改造的過程。"標準的模塊化數據中心,用戶唯一的界面就是微模塊,不會出現傳統數據中心角落能量不夠或者局部熱點等問題。在智能化方面,我們做了很多觸摸屏,用來隨時了解運行狀況,查看精細化的報表,未來還會與動力系統連接起來,達到智能運行。"
"坪山數據中心完全由微模塊組成,一期建設20個微模塊,二期建設40多個微模塊,總共部署了1200多個機柜。整個項目從裝修進場到完工,只花了4個多月的時間,二期40個微模塊從進場安裝到通過測試驗證只用了45天時間,充分體現了微模塊易復制、部署速度快的優勢。"
在坪山數據中心的建設過程中,騰訊部署了由12個機柜和18個機柜組成的兩種不同的微模塊。"我們在有柱子的地方部署由12個機柜組成的微模塊,在沒有柱子的地方部署由18個機柜組成的微模塊,這種部署方式幫助我們實現了空間的靈活利用,"李典林說。此外,微模塊內部的電源模塊、行間空調數量等可以根據IT機柜功率靈活配置數量,滿足不同功率密度的需求,目前微模塊內可支持的最大機柜功率達到12KW。
作為工程建設實施方的中興網信數據業務部部長閆朝貴表示:"快速部署和標準化是模塊化數據中心的特點,兩者缺一不可。在實施過程中不僅要考慮如何快捷部署,也要考慮產品的標準化和通用性。快速部署是通過組件在工廠預安裝,到現場快速連接來實現。而模塊內部的機柜、線槽、電纜、開關和管道等都采用業界標準設計,降低了客戶的維護成本。"
通過綜合采用各種技術,如高壓直流+市電直供的供電方式、行級制冷和冷通道密封技術,空調系統變頻節能等技術,使氣流循環的路徑最短,節能10%以上。"在深圳這樣的亞熱帶城市,數據中心PUE(PowerUsageEffectiveness,數據中心消耗能源總量與IT負載使用的能源之比,越接近1表明能效越高)保持在1.7是一個不錯的水平了,全國數據中心的平均水平在2.0左右,坪山數據中心在投產三分之一負載的情況下PUE值達到1.5,我們非常有信心在滿負載的情況下PUE降到1.4。"李典林說。雖然只是小小的0.1的變化,但對于數據中心這樣的耗電大戶來說,PUE每下降0.1,就意味著每年上千萬元電費的節省。
李典林對于Google、Fecebook等國外互聯網巨頭的數據中心能達到1.2甚至1.1以下的PUE非常羨慕,但缺乏天然冷源的深圳要達到這一數值的可能性幾乎為零,他只能將希望寄托在身處北方的騰訊天津數據中心,這座亞洲最大的數據中心總建筑面積9.33萬平方米,預計服務器托管能力超過10萬臺,建成后PUE將達到1.3左右的水平。
作為騰訊第一座大規模的純模塊化數據中心,坪山中心的建設規格很高,未來騰訊的微信、游戲等明星業務都會轉移到坪山數據中心,據李典林透露,目前微信的備份內容已經遷移過來。
默認路徑
"微模塊數據中心將是騰訊未來的數據中心建設思路。"李典林說。微模塊數據中心在互聯網行業得到賞識和推廣,源于其特點與互聯網公司的需求有眾多契合,這里面最重要的是:創新技術傾向與掌控力、快、靈活、標準與規模。
大型互聯網公司的業務多變性,對服務器、網絡、IDC資源的彈性需求非常大,因此互聯網公司一般擁有較強的技術團隊,把控著從服務器到網絡設備,再到數據中心系統的優化定制--將自己對業務的需求轉化為定制硬件需求,并以產品化的思維進行開發和快速迭代,這是互聯網公司的區別于傳統商業IDC或企業數據中心的地方。
根據IDC數據中心趨勢研究人員MichelleBailey的說法,數據中心的模塊化模式有望在未來5年內成為建造數據中心幾乎默認的方法,模塊化數據中心將成為未來數據中心發展的趨勢之一。
"其實,目前國內對數據中心的投資力度其實并不低于4G。"閆朝貴表示,正是因為國內風起云涌的數據中心投資熱,讓多年聚焦海外市場的中興網信回歸國內市場,也帶回了在蘇丹、白俄羅斯等地多個國際公認最高規格的Tier4數據中心及國家級數據中心的設計建設經驗。而相比起國外流行一時的集裝箱式數據中心,微模塊化數據中心的部署方式似乎更討得國內客戶的歡心。
與傳統數據中心相比,采用微模塊化的數據中心擴展性成為一大亮點--數據中心的管理員只需要根據用戶的不同需求將相應數量的微模塊安放到位,在各模塊之間連接主干鏈路就可以完成網絡的擴展。
作為數據中心基礎設施的重要組成部分,將網絡、供電、制冷、消防、監控等等采用模塊化方案部署后,數據中心的建設方式發生了較大變化--將數據中心的設計和大部分施工轉移到工廠進行預先定制,在將各功能模塊運輸到現場,以"搭積木"方式配合客戶投資和業務發展需求進行搭建,從而靈活實現分期建設,大大提升數據中心效率。
互聯網企業數據中心建設多采用模塊化建設,一個或幾個微模塊支持某一類型的應用,當新應用功能出現時,相應的增加新數據中心微模塊,如Google、Facebook、Yahoo等都開始采用微模塊方式建設其數據中心。這些巨頭從IT設備層面深度定制,微模塊設計更為精簡和標準化,都是云時代IT及基礎設施深度定制的經典案例,也是國內數據中心微模塊未來發展的方向。(《IT經理世界》記者孫泠/文)