大聯網的趨勢、越來越高的監控碼流要求以及日益豐富的應用,對監控系統的存儲功能提出了新的挑戰。不僅需要有大容量,而且必須具備良好的擴展性和穩定性。如何面對這些挑戰?我們需要從多媒體數據的特點出發進行針對性的設計。
存儲是視頻監控系統中最為核心的功能之一,視頻監控IP化、大聯網的趨勢對存儲系統提出了新的要求。
一路出2MD1碼流的視頻監控攝像頭,一天產生的數據量是21GBytes。而一個大型監控系統中的攝像頭數量往往數以千計,如此海量的數據通過什么格式保存攝像頭的錄像數據,才能提升后續回放和查找的效率?如何能為數以千計的攝像頭同時提供服務器,在大量并發請求的情況下保持存儲系統的穩定性,支撐7×24小時服務?
在海量的數據面前,單靠人進行多媒體數據的檢索、挖掘明顯力不從心——效率低、成本高。隨著智能視頻技術的逐漸發展和成熟,視頻監控系統中也開始出現智能化的需求。然而目前智能系統和多媒體監控系統大多為相互獨立的兩個系統,數據沒有進行整合。成為數據共享以及效率提升的障礙。整合多媒體視頻生產系統和智能視頻技術,對視頻監控的存儲系統也提出了很高的要求,要求智能信息和視頻監控系統生產的音視頻信息要進行有效整合。這種情況下,MAS應運而生。
MAS(MultimediaAttachedStorage),多媒體附屬存儲。是H3CIMOS(IP Multimedia Operation
System)多媒體操作系統平臺的核心組件之一。MAS是多媒體數據存儲的基礎架構,其不同于現有的文件系統以及普通塊存儲方式。它使用了創新的設計思路,以H3C多媒體存儲專利技術為設計基礎,具備高可靠性和高擴展能力。
一、 MAS設計思想
MAS的基本設計出發點是“針對視頻監控的專業多媒體存儲系統”,它以H3C在監控領域成熟應用的塊存儲技術為基礎,并對原有塊存儲技術進行革新,吸取文件系統中的空間共享可動態調整等特點。吸取文件系統和塊存儲的優點,又規避了其缺點,并實施針對性視頻監控應用的多種可靠性保證設計。
作為適合視頻監控的多媒體存儲基礎架構,MAS設計時詳細分析了多媒體的數據特點以及在不同場景下多媒體系統的應用特點,在塊存儲的基礎上進行深層設計。MAS兼具文件系統的空間共享、彈性以及塊存儲的高效、穩定的特點,對存儲核心的元數據區進行了嚴密的保護和訪問限制。針對視頻監控應用做了存儲空間訪問的優化和擴展,具備多媒體數據存儲的靈活管理和高可擴展性、高可靠性的特點。
1. 存儲資源全局訪問 —— IP可達即存儲可達
MAS具備存儲資源的本地和網絡化訪問方式,對存儲資源的生產者和使用者提供了統一的訪問接口。生產者和使用者無需了解存儲資源的位置,組網中存儲資源可全局訪問,所有的存儲資源都由MAS接管,并提供全局的存儲服務。這種歸一化的訪問方式可減小后續應用的開發工作量。
對于小型組網中常見的DVR/DVS等方式,MAS可安裝在DVR/DVS內提供本地存儲服務。
大型組網中分散的數據難以管理,又有信息安全的風險,勢必帶來數據集中的要求。存儲空間的網絡化訪問是必然的方式,MAS使用的iSCSI協議基于TCP/IP之上,當前IP網絡的普及和成熟性為MAS的部署提供了基礎保障。通過iSCSI協議無論是媒體數據的生產者還是媒體數據的訪問者(如:VODServer、第三方系統)都可以方便快捷的寫入或獲取數據,真正可做到IP可達即存儲可達。
圖1 MAS網絡化訪問模型
2. 多重可靠性設計 —— “穩定壓倒一切”
MAS的設計目標是提供7×24小時服務,因此穩定和健壯是關鍵指標,MAS在多個層次采用多種手段提升系統的穩定和健壯:
底層使用Raid冗余技術
底層使用Raid5技術,保證存儲空間的冗余保護。在發生單個磁盤損壞時可利用Raid5技術對數據進行恢復,避免MAS的元數據和多媒體數據遭到損壞。
數據區和元數據區操作分離
在視頻監控攝像頭產生的海量數據面前,普通的桌面級文件系統無論在穩定性還是性能上都將面臨極大的問題,頻繁、異徑且大量并發的文件系統元數據區的訪問將會導致其難以承受。MAS系統對多媒體數據的訪問和元數據的訪問作出了嚴格的控制,元數據只能由MAS的管理者——MASManagerServer操作,多媒體數據的生產者和使用者被嚴格禁止操作元數據。多媒體數據和元數據區的操作分離可以保證MASManager Server萬一發生故障或宕機,不會影響多媒體數據的正常訪問,媒體數據的生產者還可以繼續存入數據,媒體數據的訪問者還可以繼續讀取數據。
對元數據區進行冗余保護
MAS同時對元數據區進行了冗余設計,當發生不可預料的異常時,系統可根據MAS元數據區的冗余信息找到正確的元數據。例如,由于某種原因MASManagerServer發生了掉電,其對元數據區的操作可能只是部分完成,此時元數據區中的數據出現了錯誤,MASManager Server重新上電后會自動根據冗余信息找出正確的狀態,保證MAS系統的正常運行。
3. 共享塊存儲 —— 揚長避短
MAS對H3C原有塊存儲技術進行了擴展設計,使得一個MAS卷可同時為多個媒體資源的生產者使用,空間共享并可按需要擴展或縮小。為了減少對元數據的訪問,MAS將基本存儲塊擴展到適合視頻數據的256MBytes(文件系統通常為幾十K~幾M),256M的基本存儲塊可進一步細分為適合圖片數據的16MBytes。媒體數據的生產者和使用者在數據操作時無需訪問元數據區,只在存儲空間需要擴大或縮小的時候通過MASManager Server訪問元數據區,極大的降低了對元數據區的訪問。
4. 數據關系矩陣 —— 智能應用整合
數據關系矩陣解決的核心問題是多媒體數據本身與其他系統產生的針對多媒體數據的表述信息建立對映關系。比如基于IMOS的監控系統所產生的關于車流的視頻和車牌識別系統識別的車牌號。MAS系統中這種對映關系可精確到幀組級別,后續可根據表述信息快速定位到多媒體數據的具體位置,也可以根據多媒體數據快速獲取相應的表述信息。
圖2 MAS應用整合模型
應用舉例1 —— 視頻標簽:
城市重要道路的視頻監控中,對于重要路口通常會有民警實時查看,民警可以通過實時監控界面隨時為視頻添加標簽,例如:民警可以描述此路口的交通實時擁堵情況,紅綠燈放行情況。事后民警可根據標簽信息調取相應視頻進行分析,優化車道設置、紅綠燈放行時間設置以達到優化交通的目的。
應用舉例2 —— 智能整合應用:
目前視頻智能分析工具雖然很多,但是這些工具基本都是針對某種場景,通過MAS可以將多種智能分析工具整合起來。比如:智能分析工具A為車牌識別系統,智能分析工具B為周界檢測系統,如果要在一段視頻中找出紅色小汽車進入某個周界的視頻,目前的智能分析工具是相互獨立的,對此無能為力。如果使用MAS系統,可先使用智能分析工具A分析視頻中包含紅色小汽車的視頻,然后使用智能分析工具B分析包含紅色小汽車的視頻,從而得到準確符合用戶需求的視頻。MAS也可以在已經經過多種智能分析工具分析的視頻中用組合邏輯查找相應的視頻信息,例如:可以查找汽車進入某個周界或/且有紅色小汽車的視頻。
二、 MAS架構
MAS設計秉承IMOS的抽象、開放、分層的設計原則。
抽象:MAS抽象出各種物理存儲資源(如:磁盤、CF卡)的共性特征,并將其封裝為統一的讀、寫、查接口。例如:資源的使用者(如:編碼器)無需感知物理存儲資源,也無需感知是本地還是遠程物理存儲設備,使用統一的接口即能訪問所有類型的物理存儲資源。
開放:MAS無論對系統內網元還是系統外網元都提供標準的訪問方式,對內為讀、寫、查接口,對外為標準的RTSP/RTP等訪問接口。可以很容易的通過開放接口開發IMOS應用以及和外系統聯動擴展。
分層:MAS內部架構的分層設計降低了內部模塊之間耦合度,提升了MAS系統的穩定性,以及可移植性。基于這些分層的設計可以便捷的開發基于MAS的應用,以及擴展MAS內部的功能。
MAS架構如下圖所示:
圖3 MAS架構
流媒體應用層
實現標準流媒體協議,如:RTSP/RTP等,對外展現為標準流媒體接口。提供標準流媒體服務,外部系統可通過標準流媒體方式訪問MAS系統內的多媒體數據。
生命周期管理
MAS統一管理系統中的所有多媒體數據,可根據用戶靈活配置的策略進行生命周期管理,如:留存期管理、抽幀備份、歸檔等。通過對多媒體數據的生命周期管理,最大限度的利用存儲空間以及保留重要信息,為用戶有效降低對存儲空間的投資。
媒體數據直接訪問接口層
MAS系統提供多媒體數據的直接訪問接口,主要是在多媒體系統中其他網元訪問存儲資源時使用,多媒體數據對應的特征數據都在此接口進行封裝。接口對存儲資源的使用者抽象成讀、寫、查三類接口,簡單易用。使用者無需關心存儲資源的類型、訪問差異及數據組織方式。
數據組織層
數據組織層負責多媒體存儲格式、維護多媒體數據和智能特征數據之間的關系。關系組織結構如下圖所示:
圖4 數據組織關系模型
為適應圖4所示的數據關系矩陣,MAS對多媒體數據的存儲格式進行了針對性設計,多媒體數據區可動態建立擴展索引關系,利用擴展索引可關聯到相應的多媒體特征或相關表述信息。MAS中設計的擴展索引非常靈活,通過擴展索引可以關聯到數據表格、數據庫、URL、文件系統中的文件、甚至是物理地址。
存儲資源屏蔽層
存儲資源屏蔽層的作用是抽象存儲資源的訪問,屏蔽存儲資源的差異。無論真正的存儲資源是本地磁盤、CF卡、IPSAN、還是FCSAN存儲資源的使用者都不需關心。通過“媒體數據直接訪問接口層”為用戶提供統一的訪問接口。
物理資源層
真正的物理資源,如磁盤、CF卡、IPSAN等物理存儲資源。
MAS管理
整個MAS系統的管理者,也是系統中的存儲資源和多媒體數據的管理者,負責元數據區的維護。為存儲資源的管理員提供各種管理手段,如:動態擴展、縮小存儲資源,存儲資源的上下線等。
三、 結束語
對于視頻監控系統而言,存儲非常關鍵。隨著視頻監控的網絡化不斷深入,規模不斷擴大,智能應用的逐漸實施,傳統的普適性文件系統將會越來越力不從心。針對視頻監控特點開發專業存儲系統是視頻監控大聯網時代的必然趨勢。