查詢結果分析
來源資料
頁籤選單縮合
題名 | 基於Hadoop框架之巨量資料處理與安全性分析--以氣象資料為例= |
---|---|
作者 | 陳志達; 劉育維; |
期刊 | 電腦稽核 |
出版日期 | 20150100 |
卷期 | 31 2015.01[民104.01] |
頁次 | 頁35-48 |
分類號 | 312.13 |
語文 | chi |
關鍵詞 | 巨量資料處理; 安全性分析; 氣象資料; Hadoop多叢集環境; Hadoop; HBase; Proxy; Thrift; BigData; |
中文摘要 | 鑑於近年來氣象資料的更新頻率愈趨快速,系統必須在短時間內不斷儲存並製作圖像資料,且隨著觀測精度的提升,資料品質及可描述量皆有顯著的提升,氣象預測領域儼然已符合巨量資料的範疇。為此,本研究將建置一套雲端氣候資料倉儲與分散式運算系統,以Hadoop為主體平行化建構運算伺服器叢集網路,保證其高可擴充性且可執行MapReduce分散運算,有效串連異質的伺服器運算資源,可快速提升處理效能,並採用HBase為主要的資料庫儲存系統,以應付TB甚至PB等級的資料處理,同時運用Hive、Thrift等套件實現異質環境資料交換能力。而針對處理巨量資料可能面臨的高流量、穩定性及分散運算所特有的安全性問題,本系統在用戶端及內部服務間導入反向代理(ReverseProxy)伺服器作為中介者,可有效隔離外界連線帶來的安全隱憂、經代理存取減少叢集節點的反應時間、控管因繁複存取帶來的網路效能低落問題,以及提供負載平衡機制。整體而言,本研究運用Hadoop框架中的各項技術運用於天氣資料分析上,將傳統單機多核心CPU運算模式轉變成MapReduce分散式架構,如此為氣象資料儲存及分析系統帶來更佳的擴充延展性、更多的資料運算能力,以及更快速的異常復原能力,同時也保證對外提供服務此一前提的安全性,為兼具高效能、通用性與安全性的氣象資料處理分析架構。 |
本系統之摘要資訊系依該期刊論文摘要之資訊為主。