大數(shù)據(jù)存儲與管理技術(shù)是用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進(jìn)行管理和調(diào)用。主要解決大數(shù)據(jù)可存儲?？商幚砑坝行鬏?shù)汝P(guān)鍵問題。
大數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩種類型，德緣泰科技安防大數(shù)據(jù)以視頻圖像為主，數(shù)量巨大而且是非結(jié)構(gòu)化的。IDC將大數(shù)據(jù)技術(shù)定義為：大數(shù)據(jù)技術(shù)描述了新一代的技術(shù)和架構(gòu)體系，通過高速采集、發(fā)現(xiàn)和分析，提取各種各樣的大量數(shù)據(jù)的經(jīng)濟(jì)價值。
"大數(shù)據(jù)"通常指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，也指那些在傳統(tǒng)基礎(chǔ)設(shè)施中長期保存的數(shù)據(jù)。這里的"大"有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎(chǔ)設(shè)施的規(guī)模。業(yè)內(nèi)對大數(shù)據(jù)應(yīng)用寄予了無限的期望，需要通過數(shù)據(jù)存儲與管理，進(jìn)一步把其價值挖掘出來。數(shù)據(jù)永遠(yuǎn)都在增長之中，只是存儲海量數(shù)據(jù)的能力是不夠的，因為這并不能保證我們能夠成功地從中搜尋出商業(yè)價值，還需要對數(shù)據(jù)進(jìn)行管理。
隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長，它已經(jīng)衍生出了自己獨特的架構(gòu)，而且也直接推動了存儲、網(wǎng)絡(luò)以及計算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動的，大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲基礎(chǔ)設(shè)施的發(fā)展，這一變化對存儲廠商和其他IT基礎(chǔ)設(shè)施廠商是一個機(jī)會。
隨著結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的持續(xù)增長，以及分析數(shù)據(jù)來源的多樣化，此前存儲系統(tǒng)的設(shè)計已經(jīng)無法滿足大數(shù)據(jù)應(yīng)用的需要。存儲廠商已經(jīng)意識到這一點，開始修改基于塊和文件的存儲系統(tǒng)的架構(gòu)設(shè)計以適應(yīng)這些新的要求。以下幾個與大數(shù)據(jù)存儲基礎(chǔ)設(shè)施相關(guān)的屬性，是迎接大數(shù)據(jù)的挑戰(zhàn)重點所在。
一、數(shù)據(jù)存儲管理技術(shù)難點
（一）容量問題
"大容量"通?？蛇_(dá)到PB級的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲系統(tǒng)也一定要有相應(yīng)等級的擴(kuò)展能力。與此同時，存儲系統(tǒng)的擴(kuò)展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)。基于這樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲。Scale-out集群結(jié)構(gòu)的特點是每個節(jié)點除了具有一定的存儲容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實現(xiàn)無縫平滑的擴(kuò)展，避免存儲孤島。
"大數(shù)據(jù)"應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個難題，處理不當(dāng)?shù)脑挄绊懙较到y(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對象的存儲架構(gòu)就不存在這個問題，它可以在一個系統(tǒng)中管理十億級別的文件數(shù)量，而且還不會像傳統(tǒng)存儲一樣遭遇元數(shù)據(jù)管理的困擾?；趯ο蟮拇鎯ο到y(tǒng)還具有廣域擴(kuò)展能力，可以在多個不同的地點部署并組成一個跨區(qū)域的大型存儲基礎(chǔ)架構(gòu)。
（二）延遲問題
有很多"大數(shù)據(jù)"應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲設(shè)備應(yīng)運(yùn)而生，小到簡單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴(kuò)展存儲系統(tǒng)等等都在蓬勃發(fā)展。
（三）安全問題
某些特殊行業(yè)的應(yīng)用，比如公共安全、金融數(shù)據(jù)、醫(yī)療信息以及政府情報等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過去并不會有這種數(shù)據(jù)混合訪問的情況，因此大數(shù)據(jù)應(yīng)用也催生出一些新的、需要考慮的安全性問題。
（四）成本問題
"大"，也可能意味著代價不菲。而對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關(guān)鍵的問題。想控制成本，就意味著要讓每一臺設(shè)備都實現(xiàn)更高的"效率"，同時還要減少那些昂貴的部件。目前，像重復(fù)數(shù)據(jù)刪除等技術(shù)已經(jīng)進(jìn)入到主存儲市場，而且現(xiàn)在還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲應(yīng)用帶來更多的價值，提升存儲效率。在數(shù)據(jù)量不斷增長的環(huán)境中，通過減少后端存儲的消耗，哪怕只是降低幾個百分點，都能夠獲得明顯的投資回報。此外，自動精簡配置、快照和克隆技術(shù)的使用也可以提升存儲的效率。
很多大數(shù)據(jù)存儲系統(tǒng)都包括歸檔組件，尤其對那些需要分析歷史數(shù)據(jù)或需要長期保存數(shù)據(jù)的機(jī)構(gòu)來說，歸檔設(shè)備必不可少。從單位容量存儲成本的角度看，磁帶仍然是最經(jīng)濟(jì)的存儲介質(zhì)，事實上，在許多企業(yè)中，使用支持TB級大容量磁帶的歸檔系統(tǒng)仍然是事實上的標(biāo)準(zhǔn)和慣例。
對成本控制影響最大的因素是那些商業(yè)化的硬件設(shè)備。因此，很多初次進(jìn)入這一領(lǐng)域的用戶以及那些應(yīng)用規(guī)模最大的用戶都會定制他們自己的"硬件平臺"而不是用現(xiàn)成的商業(yè)產(chǎn)品，這一舉措可以用來平衡他們在業(yè)務(wù)擴(kuò)展過程中的成本控制戰(zhàn)略。為了適應(yīng)這一需求，現(xiàn)在越來越多的存儲產(chǎn)品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現(xiàn)成的硬件設(shè)備上。此外，很多存儲軟件公司還在銷售以軟件產(chǎn)品為核心的軟硬一體化裝置，或者與硬件廠商結(jié)盟，推出合作型產(chǎn)品。
二、數(shù)據(jù)存儲管理發(fā)展趨勢
（一）存儲行業(yè)的重組和整合
存儲客戶需要時間來消化新的存儲技術(shù)，包括軟件定義存儲、私有云和公有云的優(yōu)勢，及功能和限制等問題，并逐漸將這些技術(shù)應(yīng)用到存儲業(yè)務(wù)上。這種趨勢在傳統(tǒng)陣列收入的降低和全閃存存儲銷售的快速增長中體現(xiàn)出來。這種趨勢也將影響到2016年存儲廠商們在存儲新世界中的地位。
（二）從備份到恢復(fù)業(yè)務(wù)的存儲定價都發(fā)生了改變
存儲數(shù)據(jù)的成本傳統(tǒng)上是根據(jù)每GB或每TB位單位進(jìn)行收費(fèi)。然而隨著存儲數(shù)據(jù)容量的成本變化，根據(jù)是否預(yù)置在云中、下降到接近零存儲、不能訪問的數(shù)據(jù)的成本激增，都會導(dǎo)致成本的變化。幾個供應(yīng)商,包括像Google和Asigra,已經(jīng)著重在基于存儲恢復(fù)或還原上砸錢而不是一味用于存儲。這是一種顛覆性的模型,該模型將需要存儲提供商扔掉現(xiàn)有價格列表,但它更好地反映提供存儲容量的成本。
（三）超融合基礎(chǔ)架構(gòu)打破計算機(jī)存儲之間的聯(lián)系
超融合基礎(chǔ)設(shè)施解決方案的最大賣點就是將計算，存儲，網(wǎng)絡(luò)和虛擬化資源緊密連接到單一設(shè)備，令其易于部署和管理。雖然在大型項目中它們也會變得相當(dāng)昂貴。然而，密切聯(lián)系也是阻礙進(jìn)一步采用該技術(shù)的障礙。需要更多計算，買一個有更多計算和存儲的節(jié)點。當(dāng)2016年眾多的超合基礎(chǔ)設(shè)施架構(gòu)供應(yīng)商們不負(fù)諾言，為內(nèi)部部署和私有云提供了簡單的易于部署的平臺時，這種聯(lián)系也將會被打破。除非他們?yōu)榭蛻籼峁┝藶槊總€組件分別實現(xiàn)擴(kuò)展的功能。
（四）超融合云存儲將要稱霸
公共云存儲的試驗階段已完成?？蛻糁懒斯性瓶梢宰鲂┦裁?。更重要的是他們知道公共云不能保證數(shù)據(jù)的安全性，同時實現(xiàn)成本的逐漸下降。在2016年，存儲行業(yè)的發(fā)展將會促進(jìn)公有云歸屬于最正確的地方，適用于存儲生命周期即將結(jié)束的工作負(fù)載需求，同時性能對于他們來說不是主要問題，包括災(zāi)難恢復(fù)、長期存檔、臨時的容量爆發(fā)和數(shù)據(jù)共享。遠(yuǎn)程監(jiān)控。
到今年年底，沒有云組件的存儲啟動安裝設(shè)備將會變得很少見。大多數(shù)新的存儲安裝啟用設(shè)備內(nèi)部將會部署私有云，以處理高性能或者高安全性的工作負(fù)載，并綁定一到兩個公有云以獲得最好的工作負(fù)載管理。
（五）軟件定義存儲占據(jù)近主流位置
在過去幾年中已經(jīng)出現(xiàn)了軟件定義存儲，是用于分隔底層硬件存儲陣列的功能，使其能在商用硬件中配置存儲設(shè)備，2016年將看到軟件定義存儲解決方案被越來越多客戶接受，尤其在企業(yè)中，因為其他的新存儲模式，例如云計算已經(jīng)被接受了。軟件定義存儲解決方案的優(yōu)勢也將變得越來越明顯，因為一些領(lǐng)先的解決方案供應(yīng)商們正在想方設(shè)法銷售他們的大型產(chǎn)品，尤其是在存儲周期開始不斷被刷新時。
（六）服務(wù)器成為新存儲平臺
從傳統(tǒng)的存儲陣列中走出，轉(zhuǎn)移到新的基礎(chǔ)設(shè)施架構(gòu)，例如軟件定義存儲和云計算等舉動，意味著服務(wù)器將會統(tǒng)治新的存儲平臺。這種趨勢已悄然在行業(yè)內(nèi)發(fā)生，可以看到業(yè)內(nèi)有大量的服務(wù)器出貨，同時服務(wù)器收入也獲得了增長，在2016年將會加速發(fā)展。
今年，將會看到增加了內(nèi)存和存儲容量不斷豐富的服務(wù)器配置功能。這樣的配置允許在使用軟件定義存儲架構(gòu)時可以增加容量，同時提供更好的性能，可以為需要移動到云中的工作負(fù)載所使用。
這也將會導(dǎo)致傳統(tǒng)存儲陣列銷售下降，進(jìn)而推動更豐富的服務(wù)器配置發(fā)展，這可能會成為一個永無止境的循環(huán)變化。
Industry dynamics 創(chuàng)意安防
數(shù)據(jù)存儲與管理
