導(dǎo)語(yǔ)：大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運(yùn)用一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：從大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)出發(fā)，應(yīng)用大數(shù)據(jù)挖掘技術(shù)構(gòu)建了煤炭企業(yè)安全管理體系結(jié)構(gòu)。實(shí)現(xiàn)了數(shù)據(jù)的集中分析和深度挖掘，提升了信息利用的深度和廣度，是對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理的有效探索。

關(guān)鍵詞：大數(shù)據(jù)挖掘；安全管理；煤炭企業(yè)；信息

煤炭企業(yè)安全管理在煤炭生產(chǎn)中占有重要地位。然而，煤礦安全事故涉及多參數(shù)、多目標(biāo)、海量復(fù)雜的信息，如何及時(shí)、準(zhǔn)確、有效地識(shí)別影響煤炭安全生產(chǎn)事故隱患、提升煤炭企業(yè)安全管理是當(dāng)前研究和關(guān)注的熱點(diǎn)之一。伴隨大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)挖掘逐漸滲透到各個(gè)領(lǐng)域，各行業(yè)紛紛加快大數(shù)據(jù)的應(yīng)用規(guī)模，提升企業(yè)的競(jìng)爭(zhēng)力。在此背景下，煤炭企業(yè)安全管理也應(yīng)將關(guān)注點(diǎn)轉(zhuǎn)向大數(shù)據(jù)，提升信息利用的深度和廣度，對(duì)大數(shù)據(jù)時(shí)代煤炭企業(yè)安全管理進(jìn)行創(chuàng)新式探索。

1大數(shù)據(jù)挖掘概述

（1）大數(shù)據(jù)大數(shù)據(jù)是指數(shù)據(jù)量超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力、數(shù)據(jù)規(guī)模和傳輸速度要求很高的復(fù)雜數(shù)據(jù)的集合。大數(shù)據(jù)的特點(diǎn)可概括為4個(gè)V，即Volume（體量大）、Variety（多樣化）、Velocity（生成快）、Value（價(jià)值大）。大容量是指需要進(jìn)行分析處理的數(shù)據(jù)量非常浩大，使用傳統(tǒng)的數(shù)據(jù)處理工具往往不能在合理的時(shí)間內(nèi)處理成預(yù)測(cè)趨勢(shì)和指導(dǎo)決策的信息；多樣化是指大數(shù)據(jù)包括來(lái)自不同領(lǐng)域、不同設(shè)備、不同平臺(tái)的各種類型數(shù)據(jù)；快速化是指對(duì)數(shù)據(jù)獲取、處理、分析和應(yīng)用快速；高價(jià)值則是指挖掘出的知識(shí)對(duì)預(yù)測(cè)趨勢(shì)有重要作用，是指導(dǎo)決策的重要依據(jù)。大數(shù)據(jù)的特點(diǎn)表明，大數(shù)據(jù)有助于發(fā)現(xiàn)新事物、預(yù)測(cè)事物發(fā)展趨勢(shì)，也決定了原有的數(shù)據(jù)處理方式已不能適應(yīng)大數(shù)據(jù)挖掘的要求，需要新的處理技術(shù)來(lái)有效地組織和使用大數(shù)據(jù)。（2）大數(shù)據(jù)挖掘技術(shù)大數(shù)據(jù)挖掘目標(biāo)是將大容量數(shù)據(jù)轉(zhuǎn)換為有用的知識(shí)和信息，其關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析及挖掘和數(shù)據(jù)的呈現(xiàn)與應(yīng)用。大數(shù)據(jù)的采集、預(yù)處理與存儲(chǔ)技術(shù)大數(shù)據(jù)的采集技術(shù)既包括通過(guò)數(shù)據(jù)傳感設(shè)備、智能識(shí)別終端及資源接入系統(tǒng)等實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的識(shí)別、接入、傳輸、監(jiān)控、初步處理，又包括提供大數(shù)據(jù)的一些平臺(tái)，如數(shù)據(jù)庫(kù)、ERP系統(tǒng)等。預(yù)處理技術(shù)主要包括數(shù)據(jù)清理、集成及變換。數(shù)據(jù)清理可去掉噪聲數(shù)據(jù)及異常數(shù)據(jù)，糾正數(shù)據(jù)中的不一致，可以采用傳統(tǒng)數(shù)理統(tǒng)計(jì)方法實(shí)現(xiàn)。數(shù)據(jù)集成從來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)中提取出關(guān)系和實(shí)體，經(jīng)過(guò)分類、關(guān)聯(lián)或聚類后采用統(tǒng)一的結(jié)構(gòu)來(lái)合并成一致的數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)變換可以將不同度量下的數(shù)據(jù)歸一化，使得數(shù)據(jù)的應(yīng)用有意義。大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)是分布式文件存儲(chǔ)系統(tǒng)。該系統(tǒng)由若干個(gè)分布集群組成，1個(gè)分布式集群一般由1個(gè)主服務(wù)器和大量的塊服務(wù)器構(gòu)成，許多用戶可以同時(shí)訪問(wèn)。大數(shù)據(jù)的分析技術(shù)目前大數(shù)據(jù)的分析方法主要有并行計(jì)算、實(shí)時(shí)計(jì)算或流式計(jì)算。并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問(wèn)題進(jìn)行分解，由若干個(gè)獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。已涌現(xiàn)出大量挖掘算法能運(yùn)行于并行架構(gòu)上，如非平凡策略、基于核函數(shù)的挖掘算法、傳統(tǒng)的數(shù)理統(tǒng)計(jì)方法和并行結(jié)構(gòu)相結(jié)合算法等。實(shí)時(shí)計(jì)算處理通過(guò)建立新的概要數(shù)據(jù)結(jié)構(gòu)以近似表達(dá)數(shù)據(jù)流，并使用傳統(tǒng)的挖掘算法對(duì)概要數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，獲得近似的數(shù)據(jù)挖掘結(jié)果。獲得概要數(shù)據(jù)結(jié)構(gòu)方法有直方圖、哈希技術(shù)、隨機(jī)抽樣、小波變換等。目前應(yīng)用廣泛的實(shí)時(shí)計(jì)算或流式計(jì)算方法大多是采用二層框架的模式，在線部分計(jì)算數(shù)據(jù)概要信息，離線部分進(jìn)行數(shù)據(jù)挖掘。

2大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)

（1）數(shù)據(jù)存儲(chǔ)和預(yù)處理能力難以滿足大數(shù)據(jù)量要求龐大的數(shù)據(jù)量的存儲(chǔ)和預(yù)處理不能通過(guò)簡(jiǎn)單地升級(jí)原有服務(wù)器的方法來(lái)解決，要有具有可擴(kuò)展性和容錯(cuò)能力的數(shù)據(jù)存儲(chǔ)框架和預(yù)處理平臺(tái)。（2）復(fù)雜的數(shù)據(jù)類型對(duì)數(shù)據(jù)融合提出了挑戰(zhàn)安全事故的發(fā)生是多種因素共同作用的結(jié)果，需要分析多方面數(shù)據(jù)：一方面要獲取更多的數(shù)據(jù)，對(duì)比不同環(huán)境下哪些變化與事故的發(fā)生相關(guān)；另一方面要進(jìn)行歷史數(shù)據(jù)對(duì)比。目前，雖然在時(shí)間上采樣率不斷提高，但是在空間上監(jiān)控監(jiān)測(cè)數(shù)據(jù)還很不完備。同時(shí)，各個(gè)系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)不一致，難以在縱向和橫向上實(shí)現(xiàn)數(shù)據(jù)的融合。（3）數(shù)據(jù)的處理難以滿足高實(shí)時(shí)性要求廣泛分布的遠(yuǎn)程站點(diǎn)高速、連續(xù)地產(chǎn)生異構(gòu)的數(shù)據(jù)，要求實(shí)時(shí)完成對(duì)新到達(dá)數(shù)據(jù)點(diǎn)的處理。這就要求大數(shù)據(jù)挖掘系統(tǒng)能動(dòng)態(tài)適應(yīng)業(yè)務(wù)分析需求，快速響應(yīng)復(fù)雜的查詢，具備實(shí)時(shí)的分析處理能力，而傳統(tǒng)的數(shù)據(jù)處理技術(shù)只能處理小規(guī)模的數(shù)據(jù)流。（4）大數(shù)據(jù)挖掘結(jié)果需要有效的可視化手段大數(shù)據(jù)挖掘的最終目的是將信息呈現(xiàn)給用戶。目前我國(guó)煤炭企業(yè)既懂各領(lǐng)域?qū)I(yè)知識(shí)，又懂?dāng)?shù)理統(tǒng)計(jì)，還懂業(yè)務(wù)流程、信息技術(shù)的復(fù)合型人才極其匱乏，安全管理人員往往無(wú)法正確理解抽象的數(shù)據(jù)挖掘結(jié)果所蘊(yùn)含的信息。

3基于大數(shù)據(jù)挖掘的煤炭企業(yè)安全管理體系

（1）數(shù)據(jù)采集層數(shù)據(jù)采集層實(shí)現(xiàn)了大數(shù)據(jù)收集工作。通過(guò)各類傳感器、視頻監(jiān)測(cè)系統(tǒng)、智能終端、生產(chǎn)過(guò)程控制、操作臺(tái)、自動(dòng)記錄系統(tǒng)等技術(shù)設(shè)備和平臺(tái)，數(shù)據(jù)采集層收集大量異構(gòu)數(shù)據(jù)，為數(shù)據(jù)挖掘的后續(xù)工作做好準(zhǔn)備。（2）數(shù)據(jù)預(yù)處理層數(shù)據(jù)預(yù)處理層需要完成對(duì)數(shù)據(jù)的清洗、集成和變換。異常數(shù)據(jù)可以采取移動(dòng)平均線或自回歸模型等數(shù)據(jù)分析方法得到估計(jì)值進(jìn)行替換；噪聲數(shù)據(jù)要使用濾波或小波消噪等處理方法；缺失數(shù)據(jù)可采用平滑處理方法補(bǔ)齊。預(yù)處理后的數(shù)據(jù)存儲(chǔ)在以云計(jì)算技術(shù)為基礎(chǔ)的存儲(chǔ)框架（數(shù)據(jù)倉(cāng)庫(kù)）中，在數(shù)據(jù)挖掘之前使用。（3）數(shù)據(jù)挖掘?qū)咏?jīng)過(guò)預(yù)處理層處理的數(shù)據(jù)，通過(guò)OLAP技術(shù)來(lái)進(jìn)行初級(jí)分析，以支撐復(fù)雜的深度挖掘過(guò)程。鑒于煤礦安全事故預(yù)警對(duì)數(shù)據(jù)實(shí)時(shí)性要求很高，可以將相關(guān)大數(shù)據(jù)分為實(shí)時(shí)性數(shù)據(jù)和非實(shí)時(shí)性數(shù)據(jù)，采用流處理和批處理相結(jié)合的方式進(jìn)行挖掘。對(duì)于非實(shí)時(shí)性數(shù)據(jù)，采用基于分布式文件系統(tǒng)如NoSQL數(shù)據(jù)庫(kù)和云計(jì)算平臺(tái)如Hadoop來(lái)進(jìn)行數(shù)據(jù)處理。對(duì)于如瓦斯?jié)舛取⑼咚褂砍隽康葘?shí)時(shí)監(jiān)測(cè)數(shù)據(jù)，可以在云平臺(tái)前面設(shè)置若干前置機(jī)用于實(shí)時(shí)接收數(shù)據(jù)，同時(shí)通過(guò)實(shí)時(shí)或流式計(jì)算技術(shù)，將全部數(shù)據(jù)概要表示并通過(guò)內(nèi)存進(jìn)行計(jì)算。

（4）數(shù)據(jù)展示層可視化數(shù)據(jù)展示層主要包括3個(gè)部分：通過(guò)數(shù)據(jù)可視化軟件來(lái)表達(dá)數(shù)據(jù)中的復(fù)雜信息;將可視化結(jié)果根據(jù)不同內(nèi)容和需求呈現(xiàn)在移動(dòng)終端、PC和各類信息系統(tǒng)上；用戶通過(guò)操作界面與數(shù)據(jù)交互，并對(duì)其進(jìn)行進(jìn)一步的分析。

4結(jié)語(yǔ)

煤炭企業(yè)安全管理涉及眾多因素及分析方法，數(shù)據(jù)越多，分析范圍越大，決策越有科學(xué)性。因此，需要廣泛拓展數(shù)據(jù)資源，獲取豐富的信息，需要利用大數(shù)據(jù)挖掘技術(shù)來(lái)挖掘與煤炭企業(yè)安全管理的所有關(guān)聯(lián)，在效率、質(zhì)量和空間等諸多方面滿足安全管理要求。隨著國(guó)家層面對(duì)信息化和安全事故的重視，在煤炭企業(yè)安全管理領(lǐng)域利用大數(shù)據(jù)挖掘技術(shù)和大數(shù)據(jù)思維來(lái)實(shí)現(xiàn)數(shù)據(jù)集中分析和深度挖掘?qū)⑹俏磥?lái)發(fā)展方向。

作者:李颯 單位:遼寧石油化工大學(xué)經(jīng)濟(jì)管理學(xué)院

參考文獻(xiàn)：

［1］肖樂(lè)樂(lè)，魏久傳，牛超，等．中國(guó)煤礦事故相關(guān)性因素分析研究［J］．煤炭技術(shù)，2015，34（1）：349-351．

［2］廖建新．大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望［J］．電信科學(xué)，2015，31（7）：7－18．

［3］孟小峰，慈祥．大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)［J］．計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146-169．

［4］于富東．大數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù)及組網(wǎng)方案［J］．電信科學(xué)，2015，31（7）：164-169．

［5］宋亞奇，周國(guó)亮，朱永利．智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)［J］．電網(wǎng)技術(shù)，2013，37（4）：927-935．