虛擬化技術也分為技術流派，其中以 KVM、Xen、VMWare （Virtual Machine ware）等為主流。早在2013年，騰訊云基于對虛擬化技術未來發(fā)展方向的判斷，放棄當時的主流XEN虛擬化技術，在業(yè)界率先擁抱開源的KVM技術，并將其不斷演進。
近日，騰訊云虛擬化技術負責人陳立東，首次向外界詳細披露其在虛擬化技術上的技術演進路線。
虛擬化到底是什么？
簡單來說，虛擬化主要是指服務器資源的虛擬化，即在一臺物理機上為一個虛擬機構造一個完整的操作系統(tǒng)的運行環(huán)境，再通俗點說，就是“把一臺電腦虛擬成N臺電腦”。其中，虛擬化的資源包括 CPU、內存、網絡和存儲幾個部分。一般來說，在一個物理機上，通過虛擬化技術可以將多個完整的虛擬機以不同的形式售賣給不同的客戶，滿足客戶定制化的需求。
談到虛擬化技術，這其實并不是一個新鮮的詞匯，早在 60年代中期，IBM 就已經有了虛擬化技術。近十多年來，尤其是 2005年Intel 推出硬件輔助虛擬化，也就是在 CPU 指令上支持虛擬化，才讓這個技術有了一次重大的發(fā)展。
最初，虛擬化技術的主流是劍橋大學開發(fā)的 Xen。陳立東透露，2010 年騰訊做開放平臺時，采用的也是 Xen。之后推出騰訊云公有云產品時，騰訊云選擇了 KVM。之所以做出這個選擇，陳立東表示，主要的原因是 KVM 技術是一個完全開源且輕量級的技術，內核對其的支持也做得比較好，是后續(xù)技術發(fā)展的方向。
為了解虛擬化技術的作用與意義，我們從一張騰訊的云分布式調度系統(tǒng) VStation 的整體架構圖中來看。VStation 作為騰訊云計算操作系統(tǒng)，承擔了資源調度、請求排隊的工作。
虛擬化則負責為每臺 CVM（云服務器（Cloud Virtual Machine））構造出完整的 PC 運行環(huán)境，包括 CPU、內存、網絡、存儲各個部分資源。主要包含 libvirt、qemu、kvm 三部分：
- qemu與kvm構成hypervisor，負責CVM資源的虛擬化，在物理機上，虛擬出一個個完整的PC環(huán)境；
- libvirt負責提供統(tǒng)一對外的接口，用于管理hypervisor。
圖1. 整體架構
騰訊云虛擬化技術演進路程
據陳立東介紹，在騰訊云的大規(guī)模云計算實踐過程中，他們遇到一些虛擬化方面的技術挑戰(zhàn)，也在不斷解決問題的過程中，走出了一條自己的虛擬化技術路線圖。
挑戰(zhàn)一：如何提高云服務器的可用性？
第一個挑戰(zhàn)體現(xiàn)在可用性方面。隨著目前硬件發(fā)展的趨勢，服務器的集成度越來越高，單臺物理機故障對云服務器的影響面越來越大。如何在云上規(guī)避物理服務器宕機對虛擬化的影響，是騰訊云面臨的第一個挑戰(zhàn)。
陳立東提到，在騰訊云規(guī)模達到一定規(guī)模時遇到了一個問題，當時某個游戲客戶投訴騰訊云云服務器故障率高，云服務器突然宕機，導致游戲玩家掉線，客戶甚至因此考慮遷移到其他云。這給了陳立東團隊非常大的壓力。
通過統(tǒng)計服務器常見的故障原因后，發(fā)現(xiàn)在服務器故障中最主要的故障原因是內存故障。當內存發(fā)生多 bit UCE錯誤時，就會導致整個物理機宕機，一臺物理機上所有的虛擬機都會隨之宕機。
然而，問題是內存硬件上本身存在失效率，低概率的發(fā)生多 bit UCE 錯誤是無法完全避免的。為了提升云服務器的可用性，騰訊云采用了多種優(yōu)化方案，這里介紹其中兩個利器：內存高級 RAS 特性MCA recovery 和熱遷移。
首先是 MCA recovery。為了解決內存故障率的問題，騰訊云聯(lián)合了 CPU 廠商，包括 Intel，針對騰訊云單獨定制 CPU。在定制過程中，騰訊云要求服務器廠商為騰訊云提供一些更高端的 CPU 特性，其中一個叫做 MCA Recovery。
之前，如果發(fā)生了內存UCE錯誤，原有的服務器就會直接宕機，但在支持了 MCA Recovery后再發(fā)生內存錯誤時，服務器不會宕機，只會發(fā)出警告內存有問題，再由上層決定解決如何處理。
騰訊云是首家在數(shù)據中心中大規(guī)模使用MCA Recovery技術的云廠商，剛開始進展并不順利。啟用了MCA Recovery后，大量的UCE錯誤并沒有成功規(guī)避。當時服務器ODM廠商，Linux 內核對MCA Recovery支持并不完善。
針對硬件廠商缺陷導致的規(guī)避失敗案例，騰訊云開發(fā)故障注入工具，作為服務器 BIOS BMC 廠商引入標準。針對故障注入進行長時間壓力測試，確保硬件廠商都按照騰訊云的標準完成硬件引入。
同時，騰訊云還發(fā)現(xiàn)了多個 CPU架構優(yōu)化的案例，通過修改 Linux 內核軟件盡量避免觸發(fā)，大大降低了不可恢復異常的觸發(fā)概率。同時，騰訊云在CPU廠商的下一代CPU中進行改進優(yōu)化。
對于Linux內核對MCA Recovery的支持，騰訊云也針對性對內核的內存管理模塊和KVM進行優(yōu)化。
相關的優(yōu)化，在騰訊云基于Intel Skylake及其以后代次的云服務器上都以全面落地。
除了 Intel，騰訊云還聯(lián)合 AMD 落地多項內存RAS 特性，結合其他多項硬件可用性優(yōu)化措施，提升騰訊云AMD云服務器SA2實例的可用性。
目前，騰訊云成為首家在數(shù)據中心中大規(guī)模使用MCA Recovery技術的公司，通過一系列的軟硬件結合優(yōu)化，騰訊云 CVM 云服務器通過 MCA Recovery 已規(guī)避大量的內存 UCE 錯誤，大大降低了內存故障率，將騰訊云云服務器的可用性做到了業(yè)界領先。
第二個技術點是熱遷移技術。
支持了 MCA Recovery等高級RAS特性 后，騰訊云當物理服務器出現(xiàn)硬件隱患時，雖然不會宕機，但是已經存在隱患了，需要盡快下線維修。這個時候正在運行的云服務器怎么辦？
針對這個問題，騰訊云用熱遷移技術來解決，可以把云服務器從一臺物理機無感知遷移另一臺，當一臺物理機存在硬件隱患時，把云服務器遷移到另一臺正常的物理機上。因此，通過熱遷移技術，騰訊云將云服務器的可用性提升到高于物理機本身的可用性。
熱遷移示意圖
在大規(guī)模落地時，熱遷移的難度體現(xiàn)在兩個方面，一個是熱遷移的成功率，如果熱遷移所以來的服務器負載過高，則熱遷移可能失敗，為了提高熱遷移的成功率，騰訊云使用了包括RDMA 在內的多個熱遷移優(yōu)化，將熱遷移成功率從原來的 70% 提升至 99%；第二個難點在于盡量減少熱遷移的停機時間，目前騰訊云可實現(xiàn)在 50 毫秒以內的熱遷移停機時間，基本上可以達到無感知的水平。
挑戰(zhàn)二：如何降低虛擬化帶來的損耗？
第二個挑戰(zhàn)是，虛擬化在同一個物理機虛擬多個虛擬機帶來靈活性，但同時虛擬化本身會有一些性能損耗，業(yè)務希望虛擬化技術要保證性能與物理機相匹配，盡量減少虛擬化的損耗，這也是虛擬化技術面臨的很大的挑戰(zhàn)。
在降低虛擬化性能損耗上，陳立東以騰訊內部自研上云的過程舉例。項目啟動不久，微信同事在測試時反饋其中一個模塊性能下降超過 30%。為此，騰訊云投入了多個資深開發(fā)工程師進行分析，共做了 7 輪優(yōu)化，最終將 KVM 的虛擬化損耗降低到 5%。
針對 Linux 子機場景，騰訊云也做了一些與 KVM 虛擬化本身結合性的性能優(yōu)化，對外推出了騰訊的 Linux 的發(fā)行版 Tencent Linux，目前已經開源。
另外，騰訊云還針對 Windows 子機進行了大量優(yōu)化，逆向分析Windows內核邏輯，專門優(yōu)化了 KVM 對 Windows內核的支持，大大提升了 Windows 云服務器在騰訊云上的性能。
挑戰(zhàn)三：如何提升虛擬化的穩(wěn)定性？
第三點挑戰(zhàn)是在虛擬化后，包括 CPU 和內存都多出一個虛擬化層。業(yè)務希望虛擬化需要和物理機一樣的穩(wěn)定性，滿足業(yè)務對響應延時的極致追求。
除了一些性能測試工具跑分的峰值性能，騰訊云更注重性能的穩(wěn)定性和業(yè)務的實際體現(xiàn)。
陳立東提到，Linux本身的內核度算法是CFS，但是分析了以后，Linux本身的CFS調度算法并不適合完全滿足虛擬化場景的需求，因此騰訊云針對虛擬化場景，自研了一套Linux內核的調度的算法，在內部稱之為VMF。這套算法的核心思想要保證虛擬機的任務要優(yōu)先執(zhí)行。通過該技術，騰訊云將虛擬化場景下的調度延時做到和物理機持平的穩(wěn)定性。
挑戰(zhàn)四：如何快速交付？
第四點就是交付的效率，使用云后，客戶希望盡可能快速地獲得大量計算資源，如何為客戶提供秒級交付體驗也是一個挑戰(zhàn)。
早期騰訊云的客戶反饋GPU機型，購買后啟動比較慢，需要等幾分鐘后才能啟動，影響使用體驗。虛擬機啟動的時候，提前分配并鎖住全部的虛擬機內存，而虛擬機內存越大，啟動就越慢。這給用戶帶來非常糟糕的體驗，當時也是所有云廠商都存在的一個問題。
在優(yōu)化前，一臺700G規(guī)格的一個虛擬化啟動，在之前啟動需要大概270秒，優(yōu)化以后，將其啟動時間縮短了22秒，大大提升了用戶的體驗，騰訊云將相關的優(yōu)化補丁已經貢獻到了社區(qū)。
輕量級虛擬化是未來發(fā)展方向
從騰訊虛擬化技術的演進路線中，可以看到虛擬化技術當前存在的一些技術難點與熱點，希望對云計算開發(fā)者帶來一定的借鑒意義。
最后，陳立東還談到了虛擬化技術未來發(fā)展的趨勢和方向。他認為，虛擬化將來一個很大的發(fā)展方向就是輕量級虛擬化，而要實現(xiàn)這一點需要要把虛擬化層做得盡量簡單，從而降低損耗。
“總的來說，要實現(xiàn)把物理資源進行拆分的情況下，盡量減少虛擬化的損耗，這對整個底層的挑戰(zhàn)還是非常大的。”陳立東指出。
