《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > HDFS可視化管理系統設計與實現
HDFS可視化管理系統設計與實現
2015年微型機與應用第8期
李振舉1,2,李學軍1,楊 晟1,羅 劍3,張榮華4
(1.裝備學院 信息裝備系,北京 101416; 2.裝備學院 研究生管理大隊,北京 101416; 3.裝備學院 裝備試驗系,北京 101416; 4.中國人民解放軍71375部隊,山東 濰坊 261053)
摘要: Hadoop工具核心模塊包括分布式文件系統(Hadoop Distributed File System,HDFS)和分布式編程模型MapReduce,其中HDFS是Hadoop數據存儲處理的核心模塊,但目前缺乏有效的HDFS可視化管理工具,因此設計實現了一套可視化管理工具,該工具基于Java Swing組件開發。以此工具為基礎,搭建了一套基于Hadoop的海量遙感數據云存儲系統。實驗表明,該系統界面友好,易于部署,可以很好地支持HDFS可視化管理。
Abstract:
Key words :

  摘  要Hadoop工具核心模塊包括分布式文件系統(Hadoop Distributed File System,HDFS)和分布式編程模型MapReduce,其中HDFS是Hadoop數據存儲處理的核心模塊,但目前缺乏有效的HDFS可視化管理工具,因此設計實現了一套可視化管理工具,該工具基于Java Swing組件開發。以此工具為基礎,搭建了一套基于Hadoop的海量遙感數據云存儲系統。實驗表明,該系統界面友好,易于部署,可以很好地支持HDFS可視化管理。

  關鍵詞: Hadoop;分布式文件系統;可視化管理系統

0 引言

  近年來,隨著遙感技術的發展,遙感數據的類型不斷擴展,遙感數據的量級在不斷增加,這給遙感數據的管理帶來了新的挑戰。云計算作為大數據時代的典型技術代表,可以有效地進行海量遙感數據的處理。Hadoop[1]是目前云計算技術應用最廣泛的一個技術平臺,是谷歌文件系統[2]和MapReduce編程模型的開源實現[2]。然而如何使用Hadoop技術進行海量遙感數據的處理,是一個值得研究的問題。為了對海量遙感數據進行有效的管理,需開發一套基于Hadoop集群的云存儲系統。該系統可對海量遙感數據進行管理,與用戶進行交互,上傳和下載海量遙感數據文件。但是現有的HDFS管理工具無法高效地進行可視化管理,基于此,本文設計實現了一套可視化管理系統,旨在提高HDFS可視化管理的水平,方便用戶使用。

1 研究背景

  1.1 Hadoop生態系統

  為了搭建國產軟硬件環境下的云存儲平臺,本文采用Hadoop作為基礎軟件。該平臺目前已經發展成為包括HDFS[3]、分布式編程模型MapReduce、數據庫(HBase、Cassandra)、數據倉庫Hive和數據流處理語言Pig在內的完整的生態系統(Ecosystem)[4]。系統結構框架如圖1所示。從某種程度上可以說,Hadoop已經成為大數據處理工具事實上的標準。

001.jpg

  HDFS是Hadoop生態系統的核心子項目之一,基于流數據模式和處理超大文件的需求開發,可以處理TB(TeraByte)甚至是PB(PeteByte)級別的數據,對硬件要求比較低,容錯性好,可靠性高。Hadoop2.0之前的版本,HDFS集群通常包括一個NameNode(主節點)和若干個DataNode(從節點)[5]。NameNode管理命名空間,維護整個文件系統的文件目錄樹及這些文件的索引目錄。DataNode是文件系統工作節點,用來執行具體的任務。同時,它可以通過心跳(Heartbeat)定時向NameNode發送所存儲的文件塊信息[6]。

1.2 HDFS常見管理工具

  現有HDFS的管理工具可以分為三類:HDFS自帶的命令行工具、HDFS應用程序接口(API)和基于Web的HDFS管理工具。

  HDFS自帶的命令行工具運行在操作系統的shell終端,由一系列的命令組成。其優點是簡單快捷,無需安裝其他軟件;缺點是可視化程度不高,各種命令比較多,用戶需要具備專業的水平才能完全掌握。常見的HDFS命令如表1所示[7]。

009.jpg

  HDFS應用程序接口是Hadoop為第三方軟件提供的交互接口。這種方法的優點是操作簡單,對用戶專業水平要求不高;缺點是只有在安裝了Eclipse IDE的機器上才能運行。HDFS中提供的API功能如表2所示。

010.jpg

  基于Web的管理工具研究是在前兩種工具的基礎上開發而來的,黃文依等人[7]在研究HDFS架構的基礎上,設計實現了基于Web的HDFS可視化文件訪問系統。其優點是操作簡便快捷,易于部署;缺點是功能相對簡單,只是實現了基本的功能。此外,用戶通過瀏覽器可以直接訪問Hadoop集群的50030端口,但是這種方式只可以瀏覽顯示HDFS文件系統,用戶無法與HDFS交互。

  通過以上內容可以看出,HDFS現有的可視化系統可視化程度不高,用戶友好程度相對不高。如何設計和實現用戶界面友好的HDFS可視化管理系統,是一個需要解決的問題。

2 HDFS可視化管理系統的設計

  2.1 系統功能設計

  本文設計的HDFS可視化管理系統一方面完成文件(夾)與Hadoop集群之間的交互,另一方面可對集群的一些基本信息進行顯示。HDFS可視化系統的功能從整體上包含文件管理模塊和集群信息模塊。其中文件管理模塊負責HDFS文件信息的顯示、目錄信息的管理以及HDFS文件與本地文件之間的交互,包括文件上傳、文件下載[8]和文件刪除等功能。集群信息模塊可以顯示Hadoop集群的節點信息、集群的存儲容量和提供幫助信息等。HDFS可視化系統的功能結構圖如圖2所示。

002.jpg

  2.2 系統界面設計

  HDFS可視化管理系統設計的主界面包括4個區域:標題欄、工具欄、HDFS目錄顯示區域和文件信息顯示區域。其中標題欄包括文件管理按鈕和集群信息管理按鈕,通過這兩個按鈕可以調用文件管理模塊和集群信息管理模塊。HDFS目錄顯示區域類似于Windows的資源管理器,以目錄樹的形式顯示HDFS文件系統信息。文件信息顯示區域用來顯示選中的文件的基本信息。

  HDFS系統可視化界面采用Java Swing[9]組件設計開發。界面使用到的控件包括JTree、JLabel、JText、JPanel等。其中,JTree用來管理HDFS文件系統目錄;JLabel顯示文件基本信息;JPanel用來進行控件的管理,當做容器用來控制界面的布局;JButtonItem用來右鍵顯示命令。此外標準對話框用來顯示提示信息。

3 HDFS可視化管理系統的實現

  3.1 開發及運行環境

  HDFS可視化系統開發工具為Eclipse和OpenJDK 1.6.0。考慮到HDFS需要在Hadoop集群搭建的基礎上才能運行,本文首先搭建了一個Hadoop集群。本文搭建的Hadoop集群采用0.20.2版本,包括1個NameNode節點和6個DataNode節點。目前集群配置存儲空間大小為1.19 TB,包括21 628個文件和目錄,21 067個文件塊,塊大小為128 MB;HDFS文件備份數量采用默認的3個。集群HDFS信息如圖3所示。

003.jpg

  3.2 系統開發流程

004.jpg

  系統開發流程如圖4所示。開發環境的操作系統采用Kylin Linux操作系統,OpenJDK版本是1.6.0。在開發環境中使用Eclipse進行界面和功能設計,編寫代碼并且封裝成JAR包以方便部署。開發工具采用Eclipse 3.5版本。

  3.3 系統功能測試

  為了驗證HDFS可視化系統的可靠性,對系統功能進行測試。目前用戶數量為10人,經過擴展可以添加更多用戶。Hadoop集群信息如圖5所示,HDFS中某一系統的文件信息如圖6所示,文件上傳功能如圖7所示,文件下載功能如圖8所示。

005.jpg

006.jpg

007.jpg

008.jpg

4 結論

  本文針對Hadoop分布式文件系統缺乏界面友好的可視化管理工具的問題,設計并實現了一個HDFS可視化管理系統。該管理系統核心功能通過封裝HDFS命令轉換為Java可以識別的對象實現。該系統已經在基于國產軟硬件環境的云存儲系統中得到應用,經過實驗證明,該系統提供了一個簡便易操作的HDFS可視化管理工具,提高了云計算的數據管理水平。下一步研究的重點是設計實現基于此管理系統的云計算平臺,為集群外的節點訪問和數據處理提供服務。

  參考文獻

  [1] Apache Hadoop[EB/OL].(2009-09-12)[2014-10-15].http://hadoop.apache.org/.

  [2] GHEMAWAT S, GOBIOFF H, LEUNG S T. The Google file system[C]. ACM SIGOPS Operating Systems Review,ACM, 2003,37(5):29-43.

  [3] Hadoop Distributed Filesystem[EB/OL].(2008-12-13)[2014-10-15].http://hadoop.apache.org/hdfs.

  [4] 趙書蘭.典型Hadoop云計算[M].北京:電子工業出版社,2013.

  [5] 蔡斌,陳湘萍.Hadoop技術內幕:深入解析Hadoop Common和HDFS架構設計與實現原理[M].北京:機械工業出版社,2013.

  [6] 陸嘉恒.Hadoop實戰(第2版)[M].北京:機械工業出版社,2012.

  [7] 黃文依,王勁松,林勝.HDFS可視化操作系統研究與實現[J].天津理工大學學報,2012,28(1):31-34.

  [8] 曹寧,吳忠海,劉宏志,等.HDFS下載效率的優化[J].計算機應用,2010,30(8):2060-2065.

  [9] CADENHEAD R S, LEMAY L.21天學通Java 6(第五版)[M].袁國忠,張劼,譯.北京:人民郵電出版社,2008.


此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 欧美精品在线免费观看 | 日韩黄色片视频 | 美女很黄很黄是免费的 | 日韩精品特黄毛片免费看 | 香蕉精品一本大道在线观看 | 日本天堂网在线观看 | 欧美成人福利视频 | 国产欧美视频在线观看 | 国产99视频在线观看 | 亚洲欧美日韩精品久久奇米色影视 | 亚洲视频在线观看免费视频 | 日韩大片免费在线观看 | 午夜国产在线视频 | 国产区精品一区二区不卡中文 | 久操视频免费 | 波多野结衣一区二区 | 精品视频一区二区三区在线观看 | 男女午夜视频 | 亚洲欧美日韩精品在线 | 欧洲精品不卡1卡2卡三卡四卡 | 日本亚洲国产精品久久 | 国内精品在线观看视频 | 天天夜夜狠狠一区二区三区 | 天天在线欧美精品免费看 | 国产欧美日韩看片片在线人成 | 欧美黄色小视频 | 欧美性v视频播放 | 日本高清免费h色视频在线观看 | 福利网导航 | 男女午夜免费视频 | 成人片在线播放 | 国产在线观看xxxx免费 | 99热在线国产 | 草草在线观看视频 | 欧美一级片在线观看 | 国产亚洲欧美日韩综合综合二区 | 成在线人永久免费播放视频 | 免费观看三级毛片 | 高清一级毛片免免费看 | 在线观看欧洲成人免费视频 | 国产手机免费视频 |