易有太極,是生兩儀,兩儀生四象,四象生八卦,世間萬物皆出于此。古人的《易經》用這段話解釋萬物起源的過程,而我們是如何得知的呢?因為數據的保存流傳,數據信息可以看做文明傳播的主要載體,而存儲介質的使用則是數據信息傳播的主要工具。從結繩記事,到甲骨、青銅鼎,再到紙張的使用,人們通過不斷的改造發(fā)明,將文明傳播一代又一代,也改進了人類發(fā)展進程。這里有一個反例可以看出存儲介質選用的重要性,作為四大文明古國之一的印度就曾出現了較為嚴重的文化斷層,據考古研究他們使用樹皮或樹葉記錄信息,到今天的存世量非常稀少,有學者指出這是導致文化斷層的最根本原因。
隨著工業(yè)革命的發(fā)生,科技的日新月異,人們選用的存儲介質也發(fā)生了較大的變化,硬盤開始成為人們日常生活工作中的必備品,并在數據存儲中扮演著重要角色。但是近年來,由于社交網站、智能移動終端的不斷普及,人們創(chuàng)造出來的數據量是驚人的,據統(tǒng)計2013年光中國產生的數據總量就已經超過0.8ZB(相當于8億TB),在海量數據的壓力下,數據的存儲介質會發(fā)生什么改變?企業(yè)面對海量數據如何改造升級傳統(tǒng)數據中心來滿足業(yè)務運營的需求?新興的互聯(lián)網巨頭公司又該如何解決自身龐大數據的存取難題?這些亟待解決的問題是用傳統(tǒng)手段,比如無限制擴展數據中心規(guī)模,擴充存儲容量,還是采用新的科技手段,選擇新的存儲介質來滿足海量數據的存取需求呢?
大數據下的數據取舍
要想解決上面提到的問題,首先我們應該先了解現階段下海量數據的構成特點。以前的數據存儲基本是基于結構化數據進行的,這些數據有一定的規(guī)律性,通過簡單的機制就可以方便的存儲數據并能夠隨時獲取到相關信息。但是隨著社交網絡以及智能設備的普及,任何一個人都能產生大量數據,而這些數據又雜亂無章,毫無規(guī)律可循,這些數據又被被稱為非結構化數據。尤其是互聯(lián)網行業(yè),用戶在其平臺上所創(chuàng)造的視頻、文字、圖片更是缺少一定的信息標注,使得早期的數據中心很難區(qū)分數據類型,對數據信息采取直接存儲的方式,極大降低了數據的可用性,并造成了一定的成本浪費。
在大數據時代,人們開始重新審視數據的可用性以及重要性。由結構化數據和非結構化數據組成的海量數據對于企業(yè)的IT建設成本負擔占據多大比例?這些數據的可用性對于企業(yè)來說是否能夠逐漸降低其投入產出比?如果要解決這些問題,首先要從存儲其數據的介質開始說起。
傳統(tǒng)機械硬盤存儲的弊端
我們知道自從硬盤被IBM這藍色巨人造出來后就一直承擔著數據存儲的重擔,在企業(yè)IT基礎架構中,硬盤都是搭建IT整體架構的“板磚”。硬盤廠商通過技術更迭、廠商之間的各種收購,現在已經形成了寡頭時代,如買了IBM硬盤業(yè)務的日立環(huán)球存儲被西部數據收購,更名HGST,西部數據也因此坐擁硬盤老大地位;由IBM前員工創(chuàng)辦的希捷公司,在收購邁拓、三星的硬盤業(yè)務后,也穩(wěn)居硬盤市場第二,硬盤市場競爭激烈程度可見一斑。因為用戶的高需求量,才能創(chuàng)造市場的繁榮,份額大了,搶得人就會多,手段就會激烈。
那么這一對硬盤的高需求量在大數據、云計算時代下發(fā)生著哪些變化呢?因為傳統(tǒng)機械硬盤單碟容量的限制,導致大多數用戶在面對海量數據時只能采取不斷擴容的手段來滿足數據存取的需求。而不斷的擴容必然導致設備能耗的增加以及空間資源的浪費,這也使企業(yè)陷入了一個“容量無底洞,金錢塞不夠”的狀況。另外,因為傳統(tǒng)機械硬盤的轉速、性能方面以及高可靠性等方面的局限,令用戶在存取大容量數據時,增加一定的時間成本。再加上現在占據主流的非結構化數據的多樣性,讓用戶不再單單滿足于簡單的數據存儲,而是需要在成千上萬次的數據存取過程中去尋找數據價值,這對于一塊硬盤的性能有非常高的要求。
閃存的選擇
傳統(tǒng)機械硬盤無法滿足用戶的各種新需求,技術的發(fā)展又不能很快的跟隨著用戶需求的變化速度,那么大家就開始尋找其他類型的存儲介質,閃存就被提了出來。顧名思義,閃存就是存取速度方面非常占優(yōu)的存儲介質。閃存的出現有一定時間了,但是人們總是對它報以不信任感,除了價格昂貴,還有傳統(tǒng)的認知,小小芯片的存儲介質實在難以讓傳統(tǒng)企業(yè)信任,還是大大的碟片看著讓人舒服省心啊。到目前為止,很多金融機構仍然不敢將閃存作為高性能運算方面的主要存儲介質,也是出于對其不穩(wěn)定性的擔憂。
但是在性能方面,閃存絕對可以解決現在大數據時代下的各種需求。對海量數據的存取速度,已經超過傳統(tǒng)機械硬盤的幾十倍,小而精的體積又讓傳統(tǒng)數據中心節(jié)約大量空間,并能夠節(jié)省能耗,為數據中心省下一大筆錢。當然了,“節(jié)省一大筆錢”的前提是這些閃存都是別人送你的。所以,現在閃存的應用還是走不出貴與不穩(wěn)定的“高富帥”形象。兩大硬盤巨頭到現在也沒怎么發(fā)展固態(tài)硬盤業(yè)務,可能也是說明了市場選擇的一個大致方向。