探秘：世界最大的私有云-OpenStack是如何運營的？

PayPal擁有目前業界最大OS私有云(10+可用區、40萬個Core、82000臺虛擬機)，今天我們主要來學習一下它是怎么做的。

首先來看看PayPal做這件事的背景。eBay作為老牌的電子商務公司，曾經和AOL、 Yahoo一樣是全球訪問量最大的網站，但是最近幾年eBay發展緩慢，沒有抓住電商市場的迅速崛起的大好時機、被亞馬遜等后起之秀搶去了很大份額，龍頭地位不復存在。今年早些時候，為了不讓eBay繼續拖累PayPal的發展，股東們決定將PayPal分拆出來。
PayPal的IT部門任務艱巨，他們一方面要盡快把IT系統從eBay分離出來，另一方面還要準備應對假期消費高峰對系統造成的壓力，留給他們的只有7個多月的時間(準確地說，用6個月時間構建新的IT環境，再用10周時間將業務從原有的IT環境中遷移過來)。

一、構建篇

在構建方面，PayPal的工程師最關心擴展性和可用性，具體涉及以下幾個方面：
1.首先是可用性，基于Nova的Cell來實現IT服務的可用性。
2.其次是棄用那些過時的工具，以負載均衡為例，eBay和PayPal花了幾年時間試圖自己開發工具以實現LBaaS，最終還是決定改用社區的功能組件，因為社區的組件更開放，合作伙伴更容易在上面開發插件。
3.在線升級和測試 這一功能對于平臺的健壯性和擴展性尤為重要，能夠在線升級，才能跟上社區發展的腳步。
4.實時容量擴展 PayPal的目標是新機架到貨之后，只需要1-2天就可以完成部署并上線應用。

二、遷移篇

相對于構建一個新的系統，將應用和數據遷移到新的架構則更具挑戰，我們來看看這次遷移任務的細節和面對的挑戰：
1.有限的工作人員;
2.超過8000臺機器;
3.2PB的公共數據，以及大量存儲于虛擬機內的本地數據;
4.上述應用和數據位于3個不同的地點;
5.通過遷移將可用性技術從Nova Availability Zone變更為Nova Cell Service以實現更好的可用性和擴展性;
6.變更防火墻配置，制定訪問規則;
7.檢驗并解決新硬件的兼容性問題，確保新系統的穩定性。

下面是PayPal通過這一次遷移總結出的經驗：
1.基礎架構的可見性對保持配置一致性非常重要 如果你沒有一個關于基礎架構的完整視圖，那將是致命的。比如你在部署應用的過程中如果有虛擬機宕機了，等它重新恢復工作時，上面的應用和配置將是不正確的。
2.不要指望所有的應用和開發工作都能遷移到新的環境 必然會有無法遷移的部分，在云計算時代，少幾個虛擬機應該不是什么大問題。
3.不要一開始就使用自動化配置工具 PayPal先用手工的方式完成5%-10%的配置工作，在確定一定正常之后才引入自動化的方法完成后緒的工作。
4.遷移API服務的時候要萬分小心 很多自動化操作基于這些API完成，因此你不能隨便停止這些API服務，選擇關鍵操作的執行間隙來遷移服務，并且不要指望在一個時間窗口內遷移所有API服務。
5.要清楚你遷移的是什么 不要為了節省時間而停止你的生產API或實例的虛IP，那樣會增加風險。
6.切記，如果遇到問題，你不一定可以回滾配置。


補充說明一下這個Cell，它是用來替代原來的Zone以更好地解決OpenStack的擴展性問題，這部分內容OS借鑒了AWS的做法。一個OS云首先分為多個Region，不同的Region通常需要不同的地域，多個Region之間只有 KeyStone和Horizon服務是共享的，因此Region可以用來實現隔離和優化訪問。Region的下一級就是Cell，每個Cell都有一套獨立的數據庫和消息隊列服務，另外Cell是樹形結構，只有樹根Cell有Nova-API服務，因此也被稱為API-Cell。其它的子Cell都共享這個Nova-API服務，而Nova的其它服務則分布于每一個Cell，子Cell也稱計算Cell。
PayPal提到Cell這個組件目前功能還不完整，在數據同步方面還有一些不足，但是因為擴展性和可用性需要，PayPal必須用Cell來代替原有的Zone。

三、工具篇

PayPal使用了一些開源工具：
1.Graphite用于繪圖
2.Puppet和Salt用于配置管理
3.Zabbix用于監視
4.Cobbler用于裸機部署

另外PayPal自己開發了一個名為Flyway的遷移工具，用于從eBay云向PayPal云遷移幾千臺虛擬機和相關資源。它負責完成下述資源的遷移工作：
1.Nova虛擬機
2.用戶、租戶、角色、密鑰對和限額
3.鏡像和快照
4.Cinder卷和數據
5.Trove數據庫實例
6.LBaaS VIP實例和證書

PayPal計劃將這一工具開源到GitHub。此外，PayPal還開發了其它一些遷移輔助工具：
1.Stackwatch/Stackmetrics用于健康檢查和度量
2.Reparo用于服務器修復和置備，也負責硬件監測和補丁管理
3.Cloudinfo用于云的可見性，將各種視圖和相關數據匯總到一起，也提供Metric視圖。
4.CloudMinion用于資源回收 通過掃描網絡流量發現閑置虛擬機，管理過期時間，發送告警，自動回收資源并提供報告。
5.CMS 用做中央配置數據庫，集中存儲和管理物理和虛擬組件，基礎架構和應用等所有資源的信息，并可以呈現這些資源之間的關系。

四、未來篇

1.采用Masterless Puppet構建更具擴展性和可用性的配置管理方案，消除單一故障點。
2.Infra AZ項目：通過OpenStack來部署OpenStack，開發更好的控制平面，提高容量擴展速度，實現一鍵擴容。
3.從H版直接升級到Kilo版，數據平面不能停，控制平臺只有幾個小時的窗口，部分網絡需要從Nova-Network升級到Neutron。

五、亂談

1.采用開源技術要跟對主流，社區是靠一個龐大的群體來支持的，你對社區產品的增強只能是錦上添花，如果那塊繡布爛掉了，你的手藝再好也是白搭。
2.OpenStack成長很快，正在不斷完善，可堪大用，但因為它的定位只是一個框架，需要與大量的相關組件進行集成才能落地，因此采用社區版本自主開發云平臺并不容易，你需要組建一個與社區聯系緊密的專家團隊。
3.OS在監控和運維管理方面相對薄弱，還有很多不足，PayPal在這方面花的功夫最多，如果不能很好地解決這一問題，就不要大規模采用OS，否則你會把自己拖死。
4.網絡也是OpenStack短板之一，PayPal采用Neutron加上NSX來滿足業務對網絡服務的需求。