基于國家電網審計業務系統的大數據應用研究和開發

發布時間：2020-12-05 21:24

　　電力行業的數據隨著電力信息化程度越來越高開始急劇增長,快速向著多源頭、多元化、PB級規模發展。研究大數據技術在電力行業的應用,構建電力行業自己的大數據分析平臺勢在必行。本文以國家電網審計系統的業務場景為研究切入點,進行大數據技術驗證,為國家電網審計系統優化提供大數據解決方案。我們建立了15個節點的Hadoop集群環境,通過sqoop將國家電網審計系統的數據遷移到Hive數據倉庫中,對數據進行分布式存儲管理。Map Reduce作為海量數據查詢分析的計算模式,分別利用Hive QL和Spark SQL作為數據倉庫的控制工具執行大規模數據查詢測試。測試結果表明,Hadoop分布式架構具有較好的擴展性,能滿足國家電網審計系統數據量快速增長的需要,尤其數據越大優勢越明顯;另外spark數據查詢效率明顯高于Hive。聚類分析作為數據分析和數據挖掘中重要的一類算法,已經在許多領域廣泛應用,根據對國網審計業務的分析,要將驗證性分析變成挖掘性分析,將審計方式轉變為風險預警的方式,實現審計思維、審計內容、審計目標以及技術應用全方位優化分析,聚類分析算法也將會有巨大的應用空間。同時隨著信息化的發展,數據產... 

【文章來源】：華北電力大學(北京)北京市 211工程院校 教育部直屬院校

【文章頁數】：69 頁

【學位級別】：碩士

【部分圖文】：

表實體關系圖

Map部分核心源碼截圖

42圖 5-3 Reduce 部分核心源碼截圖5.4 實驗數據描述為驗證用 Java 所編寫的基于 MapReduce 分布式計算的 K-means 聚類的正確性，特選擇場景比較類似的意大利某一地區的葡萄酒數據和國網審計業務系統中用戶用電情況數據分別作為測試數據，對該分布式算法的正確性進行驗證。

【參考文獻】：
期刊論文
[1]大數據背景下的電網客戶用電行為分析系統設計[J]. 肖乃慎,李博,孔德詩.  電子設計工程. 2016(17)
[2]數據挖掘與可視化技術對新聞閱讀體驗的改善——以騰訊網在巴西世界杯期間的報道為例[J]. 巫函.  西部學刊(新聞與傳播). 2016(07)
[3]基于云計算的電力大數據分析技術與應用[J]. 王維,趙明穎.  黑龍江科技信息. 2016(12)
[4]基于Hadoop的電力大數據技術體系研究[J]. 岳陽,張曉佳,高一丹.  電力與能源. 2015(01)
[5]構建國家電網云數據中心的規劃與技術路線[J]. 周一波,朱朝勇,霍燚.  信息安全與技術. 2014(12)
[6]電力大數據應用現狀及前景[J]. 張沛.  電氣時代. 2014(12)
[7]電網智能調度中的大數據及應用場景研究[J]. 閆湖,狄方春,袁榮昌,李立新.  電力信息與通信技術. 2014(10)
[8]大數據開源技術發展研究[J]. 吳韶鴻.  現代電信科技. 2014(08)
[9]中國大數據服務商綜合服務水平TOP100排行榜[J]. 謝然.  互聯網周刊. 2014(13)
[10]面向大數據分析的分布式文件系統關鍵技術[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發展. 2014(02)

碩士論文
[1]改進K-means聚類算法的研究[D]. 李婷婷.安徽大學 2015
[2]提高任務并行度以優化MapReduce集群資源的利用[D]. 鄭利明.上海交通大學 2015
[3]面向海量數據的實時計算一致性研究[D]. 汪璐.西安電子科技大學 2014
[4]基于并行計算的海量日志分析系統實現[D]. 白超.安徽大學 2013
[5]基于MapReduce的信息檢索相關算法并行化研究與實現[D]. 肖韜.南京大學 2012
[6]基于HDFS的小文件處理與相關MapReduce計算模型性能的優化與改進[D]. 蔡睿誠.吉林大學 2012
[7]基于HDFS的分布式Namenode節點模型的研究[D]. 李寬.華南理工大學 2011
[8]分布式聚類算法研究與應用[D]. 杜晨陽.浙江大學 2011



本文編號：2900116