自從IBM在50多年前首次虛擬大型機時，虛擬數據中心的概念就產生了，但如今只有幾家公司跨整個分布式數據中心，達到相同的效果。
IBM在大型機虛擬化領域的創造性工作對于多年后VMware的崛起提供了靈感。就當IBM虛擬整個計算環境——大型機時，如今的公司，如VMware、思杰與紅帽跨整個數據中心架構，如服務器、存儲與網絡，嘗試做同樣的事情。
IBM工程師Robert Creasy和Les Comeau在1964年所做的開創性工作，即給每個大型機用戶提供虛擬機、獨立的操作環境，允許很多應用在同個大型機下同時運行。時間快進到現在，一股新的浪潮出現，那就是通過從整個底層物理架構隔離操作系統與應用層，在現代分布式數據中心做同樣的事情。
實際上，新的軟件定義數據中心管理層變成諸如整個數據中心的PC操作系統，掩飾如果不簡化底層物理架構，那么確保應用得到它們運行所需的資源。
隨著計算從大型機轉移到分布式環境，虛擬化問題變得更加復雜，但解決方案基本一樣。這需要數十年的進化，從工作進度到根源分析再到運行自動化和配置與變更管理，這一整個流程如今只有幾家公司可以在數據中心做到。
新的虛擬數據中心能夠虛擬所有數據中心硬件，并讓應用根據重要性與時效性這樣的策略去運行，不管物理資源在哪里，都能在最恰當的資源上運行應用。存儲與網絡硬件能夠像服務器那樣商品化已經有段時間了。自助服務IT——用戶只需要點擊幾次鼠標就能發布他們自己的應用與服務——能夠成為現實。
當然，現實與夢想之間總是有個差距的，這也不例外。即使用戶希望簡化，但技術越加復雜，新技術常常冒出來，經常造成無意識的且無法預見的結果。不過隨著軟件定義數據中心的出現，IT部門可以實現徹底變革。