Tumblr：150億月瀏覽量背后的架構挑戰

以下為譯文。（括號內小號字為CSDN編輯所注）：

Tumblr每月頁面瀏覽量超過150億次，已經成為火爆的博客社區。用戶也許喜歡它的簡約、美麗，對用戶體驗的強烈關注，或是友好而忙碌的溝通方式，總之，它深得人們的喜愛。

每月超過30%的增長當然不可能沒有挑戰，其中可靠性問題尤為艱巨。每天5億次瀏覽量，峰值每秒4萬次請求，每天3TB新的數據存儲，并運行于超過1000臺服務器上，所有這些幫助Tumblr實現巨大的經營規模。

創業公司邁向成功，都要邁過危險的迅速發展期這道門檻。尋找人才，不斷改造基礎架構，維護舊的架構，同時要面對逐月大增的流量，而且曾經只有4位工程師。這意味著必須艱難地選擇應該做什么，不該做什么。這就是Tumblr的狀況。好在現在已經有20位工程師了，可以有精力解決問題，并開發一些有意思的解決方案。

Tumblr最開始是非常典型的LAMP應用。目前正在向分布式服務模型演進，該模型基于Scala、HBase、Redis（著名開源K-V存儲方案）、Kafka（Apache項目，出自LinkedIn的分布式發布-訂閱消息系統）、Finagle（由Twitter開源的容錯、協議中立的RPC系統），此外還有一個有趣的基于Cell的架構，用來支持Dashboard（CSDN注：Tumblr富有特色的用戶界面，類似于微博的時間軸）。

Tumblr目前的最大問題是如何改造為一個大規模網站。系統架構正在從LAMP演進為最先進的技術組合，同時團隊也要從小的創業型發展為全副武裝、隨時待命的正規開發團隊，不斷創造出新的功能和基礎設施。下面就是Blake Matheny對Tumblr系統架構情況的介紹。 

網站地址

http://www.tumblr.com/ 

主要數據

每天5億次PV（頁面訪問量）

每月超過150億PV

約20名工程師

峰值請求每秒近4萬次

每天超過1TB數據進入Hadoop集群

MySQL/HBase/Redis/memcache每天生成若干TB數據

每月增長30%

近1000硬件節點用于生產環境

平均每位工程師每月負責數以億計的頁面訪問

每天上傳大約50GB的文章，每天跟帖更新數據大約2.7TB。 

軟件環境

開發使用OS X，生產環境使用Linux（CentOS/Scientific）

Apache

PHP, Scala, Ruby

Redis, HBase, MySQL

Varnish, HAProxy, nginx

memcache, Gearman（支持多語言的任務分發應用框架）, Kafka, Kestrel（Twitter開源的分布式消息隊列系統）, Finagle

Thrift, HTTP

Func——一個安全、支持腳本的遠程控制框架和API

Git, Capistrano（多服務器腳本部署工具）, Puppet, Jenkins 

硬件環境

500臺Web服務器

200臺數據庫服務器（47 pool，20 shard）

30臺memcache服務器

22臺Redis服務器

15臺Varnish服務器

25臺HAproxy節點

8臺nginx服務器

14臺工作隊列服務器（Kestrel + Gearman） 

架構

1. 相對其他社交網站而言，Tumblr有其獨特的使用模式：

每天有超過5千萬篇文章更新，平均每篇文章的跟帖又數以百計。用戶一般只有數百個粉絲。這與其他社會化網站里少數用戶有幾百萬粉絲非常不同，使得Tumblr的擴展性極具挑戰性。

按用戶使用時間衡量，Tumblr已經是排名第二的社會化網站。內容的吸引力很強，有很多圖片和視頻，文章往往不短，一般也不會太長，但允許寫得很長。文章內容往往比較深入，用戶會花費更長的時間來閱讀。

用戶與其他用戶建立聯系后，可能會在Dashboard上往回翻幾百頁逐篇閱讀，這與其他網站基本上只是部分信息流不同。

用戶的數量龐大，用戶的平均到達范圍更廣，用戶較頻繁的發帖，這些都意味著有巨量的更新需要處理。

2. Tumblr目前運行在一個托管數據中心中，已在考慮地域上的分布性。

3. Tumblr作為一個平臺，由兩個組件構成：公共Tumblelogs和Dashboard

公共Tumblelogs與博客類似（此句請Tumblr用戶校正），并非動態，易于緩存

Dashboard是類似于Twitter的時間軸,用戶由此可以看到自己關注的所有用戶的實時更新。與博客的擴展性不同，緩存作用不大，因為每次請求都不同，尤其是活躍的關注者。而且需要實時而且一致，文章每天僅更新50GB，跟帖每天更新2.7TB，所有的多媒體數據都存儲在S3上面。

大多數用戶以Tumblr作為內容瀏覽工具，每天瀏覽超過5億個頁面，70%的瀏覽來自Dashboard。

Dashboard的可用性已經不錯，但Tumblelog一直不夠好，因為基礎設施是老的，而且很難遷移。由于人手不足，一時半會兒還顧不上。