導(dǎo)語：如何才能寫好一篇大數(shù)據(jù)技術(shù)，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞： 大數(shù)據(jù); 4V特征; Hadoop; 云計算

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2015）01-13-02

Overview on big data technology

Yang Jing

（Department of Computer Science， Yunyang Teachers' College， Shiyan， Hubei 442000， China）

Abstract： Big data is a new technical wave after the network of things and cloud computing. To understand big data technology， the definition and 4V characteristics， the key technologies and main application fields are systematically analyzed in the paper. Through the introduction of the basic conception， characteristics， the main application fields with typical cases are summarized. The core technologies， key strategies of cloud computing， hadoop and data backup are analyzed. The potential information safety risks are pointed out. The countermeasures are given to provide some suggestions and references for wider application and study in the future.

Key words： big data; 4V characteristics; Hadoop; cloud computing

0 引言

物聯(lián)網(wǎng)、云計算等新興技術(shù)的迅速發(fā)展開啟了大數(shù)據(jù)時代的帷幕。大數(shù)據(jù)技術(shù)是指從各種各樣的海量數(shù)據(jù)中，快速獲取有價值信息的技術(shù)，大數(shù)據(jù)的核心問題就是大數(shù)據(jù)技術(shù)。目前所說的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模大，還包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)復(fù)雜程度大。大數(shù)據(jù)的研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，解決實際生產(chǎn)、生活中的各種問題，從而推動信息技術(shù)健康地可持續(xù)發(fā)展。

1 大數(shù)據(jù)的定義及主要特征

與其他新興學(xué)科一樣，目前大數(shù)據(jù)沒有一個統(tǒng)一的標準和定義。一般認為：大數(shù)據(jù)是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合，可以應(yīng)用合理的數(shù)學(xué)算法或工具從中找出有價值的信息，并為人們帶來經(jīng)濟及社會效益的一門新興學(xué)科。大數(shù)據(jù)又被稱為海量數(shù)據(jù)、大資料、巨量數(shù)據(jù)等，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無法在合理時間內(nèi)通過人工攫取、管理、處理并整理成為人類所能解讀的信息。這些數(shù)據(jù)來自方方面面，比如社交網(wǎng)絡(luò)、傳感器采集、安防監(jiān)控視頻、購物交易記錄等。盡管尚無統(tǒng)一定義，但這些無比龐大的數(shù)據(jù)被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下4V特性[1]：

⑴ 體量Volume，是指數(shù)據(jù)存儲量大，計算量大;

⑵ 多樣Variety，是指大數(shù)據(jù)的異構(gòu)和多樣性，比如數(shù)據(jù)來源豐富，數(shù)據(jù)格式包括多種不同形式，如網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等;

⑶ 價值Value，是指大數(shù)據(jù)價值密度相對較低，信息海量，但是要挖掘出真正有價值的數(shù)據(jù)難度較大，浪里淘沙卻又彌足珍貴;

⑷ 速度Velocity，是指數(shù)據(jù)增長速度快，處理速度要求快。

2 大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域

通過對海量數(shù)據(jù)進行采集、分析與處理，挖掘出潛藏在數(shù)據(jù)海洋里的稀疏但卻彌足珍貴的信息，大數(shù)據(jù)技術(shù)正在對經(jīng)濟建設(shè)、醫(yī)療教育、科學(xué)研究等領(lǐng)域產(chǎn)生著革命性的影響，其所帶來的巨大使用價值正逐漸被各行各業(yè)的人們所感知。

2.1 金融領(lǐng)域

大數(shù)據(jù)的火熱應(yīng)用突出體現(xiàn)在金融業(yè)，各大互聯(lián)網(wǎng)企業(yè)（谷歌、阿里巴巴等）紛紛掘金大數(shù)據(jù)，開創(chuàng)了新的互聯(lián)網(wǎng)金融模式。目前阿里巴巴的互聯(lián)網(wǎng)金融做得如火如荼：基金、小額信貸、余額寶和理財保險產(chǎn)品等等，阿里巴巴之所以能夠做火金融服務(wù)，其主要原因就在于阿里的大數(shù)據(jù)，阿里巴巴的電商平臺存儲了大量微小企業(yè)客戶及數(shù)以億計的個人用戶行為信息、交易記錄、身份數(shù)據(jù)等，擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈，做P2P及個人小額信貸，具有最大優(yōu)勢[2]。相反，傳統(tǒng)商業(yè)銀行早期就已推出的小額信貸業(yè)務(wù)，開展得并不十分順利。

2.2 市場營銷

今天的數(shù)字化營銷與傳統(tǒng)市場營銷最大的區(qū)別就在于精準定位及個性化。如今企業(yè)與客戶的交流渠道發(fā)生了革命性的變化，從過去的電話及郵件，發(fā)展到今天的博客、論壇、社交媒體賬戶等，從這些五花八門的渠道里跟蹤客戶，將他們的每一次點擊、加好友、收藏、轉(zhuǎn)發(fā)、分享等行為納入到企業(yè)的銷售漏斗中并轉(zhuǎn)化成一項巨大的潛在價值，就是所謂的360度客戶視角。例如谷歌的銷售策略主要著眼于在線的免費軟件，用戶使用這些軟件時，無形中就把個人的喜好、消費習(xí)慣等重要信息提交給了谷歌，因此谷歌的產(chǎn)品線越豐富，他們對用戶的理解就越深入，其廣告定位就越精準，廣告所攫取的價值就越高，這是正向的循環(huán)。

2.3 公眾服務(wù)

大數(shù)據(jù)的另一大應(yīng)用領(lǐng)域是公眾服務(wù)。如今數(shù)據(jù)挖掘已經(jīng)能夠預(yù)測海嘯、地震、疾病暴發(fā)，理解交通模型并改善醫(yī)療和教育等。例如，可采用神經(jīng)網(wǎng)絡(luò)和基于地震時間序列的支持向量機方法來預(yù)測地震的大概方位、時間、震級大小等重要信息，為通用地震模擬程序提供關(guān)鍵的數(shù)據(jù)，從而對地震進行早期預(yù)警，以使防震抗災(zāi)部門可以提前做好應(yīng)對措施，避免大量的人員傷亡及財產(chǎn)損失;再如，將各個省市的城鎮(zhèn)醫(yī)療系統(tǒng)、新農(nóng)村合作醫(yī)療系統(tǒng)等全部整合起來，建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫，實現(xiàn)醫(yī)院之間對病患信息的共享，提高患者就醫(yī)效率[3];電力管理系統(tǒng)通過記錄人們的用電行為信息（做飯、照明、取暖等），大數(shù)據(jù)智能電網(wǎng)就能實現(xiàn)優(yōu)化電的生產(chǎn)、分配及電網(wǎng)安全檢測與控制，包括大災(zāi)難預(yù)警與處理、供電與電力調(diào)度決策支持和更準確的用電量預(yù)測等，并通過數(shù)據(jù)挖掘技術(shù)找出可行的節(jié)能降耗措施，以實現(xiàn)更科學(xué)的電力需求分配管理。

2.4 安防領(lǐng)域

安防領(lǐng)域中最重要的就是視頻監(jiān)控系統(tǒng)，從早期看得見到現(xiàn)在看得遠、看得清，視頻監(jiān)控是典型的數(shù)據(jù)依賴型業(yè)務(wù)，依賴數(shù)據(jù)說話。尤其是高清、超高清監(jiān)控時代的到來，會產(chǎn)生巨量的視頻數(shù)據(jù)。這些巨量視頻監(jiān)控數(shù)據(jù)中，多數(shù)是冗余無用的，只有少數(shù)是關(guān)鍵數(shù)據(jù)，如何剔除這些無用數(shù)據(jù)，一直是人們研究問題的焦點。在大數(shù)據(jù)技術(shù)的支撐下，通過對巨量視頻數(shù)據(jù)的分析與處理，可實現(xiàn)模糊查詢、精準定位、快速檢索等，能夠?qū)Ω咔灞O(jiān)控視頻畫質(zhì)進行細節(jié)分析，智能挖掘出類似行為及特征的數(shù)據(jù)，從而為業(yè)務(wù)分析和事件決策判斷提供精準依據(jù)。

3 大數(shù)據(jù)處理關(guān)鍵技術(shù)

3.1 數(shù)據(jù)備份技術(shù)

在大數(shù)據(jù)時代，如何做好數(shù)據(jù)的安全備份至關(guān)重要。數(shù)據(jù)備份是數(shù)據(jù)容災(zāi)的前提，具體是指當(dāng)出現(xiàn)某種突發(fā)狀況導(dǎo)致存儲系統(tǒng)中的文件、數(shù)據(jù)、片段丟失或者嚴重損壞時，系統(tǒng)可準確而快速地將數(shù)據(jù)進行恢復(fù)的技術(shù)。數(shù)據(jù)容災(zāi)備份是為防止偶發(fā)事件而采取的一種數(shù)據(jù)保護手段，其核心工作是數(shù)據(jù)恢復(fù)，根本目的是數(shù)據(jù)資源再利用。

3.2 Hadoop

大數(shù)據(jù)時代對于數(shù)據(jù)分析、管理等都提出了更高層次的要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)分析處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)橫向擴展的需求。為了給大數(shù)據(jù)處理、分析提供一個性能更好、可靠性更高的平臺，Apache基金會開發(fā)了一個開源平臺Hadoop[4]，該平臺用Java語言編寫，可移植性強，現(xiàn)在Hadoop已經(jīng)發(fā)展為一個包括HDFS（分布式文件系統(tǒng) ）、HBase（分布式數(shù)據(jù)庫）等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)，成為目前主流的大數(shù)據(jù)應(yīng)用平臺。

3.3 云計算

如果把各種各樣的大數(shù)據(jù)應(yīng)用比作在公路上行駛的各種汽車，那么支撐這些汽車快速運行的高速公路就是云計算，云計算是大數(shù)據(jù)分析處理技術(shù)的核心。正是由于云計算在海量信息存儲、分析及管理方面的技術(shù)支持，大數(shù)據(jù)才有了如此廣闊的用武之地。谷歌的各種大數(shù)據(jù)處理技術(shù)和應(yīng)用平臺都是基于云計算，最典型的就是以UFS（UIT云存儲系統(tǒng)）、MapReduce（批處理技術(shù)）、BigTable（分布式數(shù)據(jù)庫）為代表的大數(shù)據(jù)處理技術(shù)以及在此基礎(chǔ)上產(chǎn)生的開源數(shù)據(jù)處理平臺Hadoop[5]。

4 大數(shù)據(jù)應(yīng)用帶來的信息安全隱患及應(yīng)對策略

大數(shù)據(jù)時代，海量數(shù)據(jù)通常存儲在大規(guī)模分布式的網(wǎng)絡(luò)節(jié)點中，管理相對分散，而且系統(tǒng)也無法控制用戶進行數(shù)據(jù)交易的場所，因此很難辨別用戶的身份（合法及非法用戶），容易導(dǎo)致不合法用戶篡改或竊取信息;此外，大數(shù)據(jù)存儲系統(tǒng)中包含了海量的個人用戶隱私數(shù)據(jù)及各種行為的記錄信息，如何在大數(shù)據(jù)的挖掘利用中確定一個信息保護和開放的尺度， 是大數(shù)據(jù)面臨的又一難題。為了合理利用大數(shù)據(jù)并有效規(guī)避風(fēng)險，我們提出以下四點建議：

⑴ 國家出臺相關(guān)政策，加強頂層設(shè)計，保障數(shù)據(jù)存儲安全;

⑵ 增強網(wǎng)絡(luò)安全防護能力，抵御網(wǎng)絡(luò)犯罪，確保網(wǎng)絡(luò)信息安全;

⑶ 提高警惕積極探索，加大個人隱私數(shù)據(jù)保護力度;

⑷ 深化云計算安全領(lǐng)域研究，保障云端數(shù)據(jù)安全。

5 結(jié)束語

在當(dāng)今信息知識爆炸的時代，大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于商業(yè)金融、電力醫(yī)療、教育科研等領(lǐng)域。隨著數(shù)據(jù)挖掘技術(shù)的不斷進步，相關(guān)信息行業(yè)競相從規(guī)模龐大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)海洋中攫取更多有價值的數(shù)據(jù)信息用于分析、解決現(xiàn)實生活中的各種實際問題，從而實現(xiàn)信息技術(shù)的快速健康發(fā)展。本文梳理了大數(shù)據(jù)的基本概念及4V特征，總結(jié)歸納了大數(shù)據(jù)技術(shù)的四大熱門應(yīng)用領(lǐng)域及三大核心處理技術(shù)，分析了大數(shù)據(jù)技術(shù)帶來的諸如信息竊取及篡改、個人隱私數(shù)據(jù)泄露等信息安全隱患，并提出了相應(yīng)的解決措施及建議。當(dāng)然，目前大數(shù)據(jù)技術(shù)的研究尚處在起步階段，還有許多深層次的問題亟待解決，如大數(shù)據(jù)的存儲管理是通過硬件的簡單升級還是通過系統(tǒng)的重新設(shè)計來解決，大數(shù)據(jù)4V特征中起關(guān)鍵作用的是什么，大數(shù)據(jù)技術(shù)的應(yīng)用前景是什么，等等。就目前來看，未來大數(shù)據(jù)技術(shù)的研究之路還很長，需要我們用更加敏銳的洞察力來分析和研究。

參考文獻：

[1] BARWICK H. The "four Vs" of big data. Implementing Information

Infrastructure Symposium[EB/OL]. [2012-10-02]. http：//.au/article/396198/iiis_four_vs_big_data/.

[2] 韋雪瓊，楊嘩，史超.大數(shù)據(jù)發(fā)展下的金融市場新生態(tài)[Jl.時代金融，

2012.7：173-174

[3] 張敬誼，佘盼，肖筱華.基于云計算的區(qū)域醫(yī)療信息化服務(wù)平臺的研

究[J].計算機科學(xué)，2013.40（10）：360-365

篇2

1、大數(shù)據(jù)技術(shù)是指大數(shù)據(jù)的應(yīng)用技術(shù)，涵蓋各類大數(shù)據(jù)平臺、大數(shù)據(jù)指數(shù)體系等大數(shù)據(jù)應(yīng)用技術(shù)。

2、大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

3、隨著云時代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。分析師團隊認為，大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。

4、大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

（來源：文章屋網(wǎng) ）

篇3

關(guān)鍵詞：大數(shù)據(jù)；計算機；數(shù)據(jù)備份；安全保障

中圖分類號：TP311

文獻標識碼：A

文章編號：1009-3044（2017）10-0025-01

數(shù)據(jù)信息作為時代的信息管理標志其安全性必須收到更大的重視，數(shù)據(jù)信息的安全存儲系統(tǒng)尤為重要，防止信息數(shù)據(jù)的丟失的管理備份系統(tǒng)更為重要。因此能夠?qū)?shù)據(jù)信息妥善管理，保證其正常工作的技術(shù)相當(dāng)重要，但當(dāng)數(shù)據(jù)真正丟失或不可避免地出現(xiàn)問題以后能夠盡快地將其找回或者是在有效的時間內(nèi)將其完整地恢復(fù)，以確保整個計算機系統(tǒng)能夠正常工作的技術(shù)更是必不可少的。

1.數(shù)據(jù)備份概念及其特點

數(shù)據(jù)備份指的是將計算機系統(tǒng)的所有數(shù)據(jù)或者是部分重要數(shù)據(jù)借助某一種或多種手段從計算機一個系統(tǒng)復(fù)制到另一個系統(tǒng)，或者是從本地計算機存儲系統(tǒng)中復(fù)制到其他的存儲系統(tǒng)中。其目的就是保障系統(tǒng)可用或者是數(shù)據(jù)安全。防止由于人為的失誤或者是系統(tǒng)故障問題亦或是自然災(zāi)害等方面的原因造成系統(tǒng)數(shù)據(jù)的安全性無法保障的問題。數(shù)據(jù)備份更重要的原因是數(shù)據(jù)信息的多重保存以備不時之需。

數(shù)據(jù)備份按照備份的實現(xiàn)方式可以分為單機和網(wǎng)絡(luò)兩種備份方式，傳統(tǒng)的備份就是單機備份針對計算機本身將數(shù)據(jù)進行異地存儲，現(xiàn)代比較流行的就是網(wǎng)絡(luò)備份。這是針對整個網(wǎng)絡(luò)而言的，這種方式的備份較為復(fù)雜，是通過網(wǎng)絡(luò)備份軟件對存儲介質(zhì)和基礎(chǔ)硬件存儲設(shè)備的數(shù)據(jù)進行保存和管理。由于網(wǎng)絡(luò)備份是在網(wǎng)絡(luò)中進行數(shù)據(jù)備份的，因此也就不同于普通的傳統(tǒng)單機備份，是包含需要備份的文件數(shù)據(jù)和網(wǎng)絡(luò)系統(tǒng)中使用到的應(yīng)用程序以及系統(tǒng)參數(shù)和數(shù)據(jù)庫等內(nèi)容的。

數(shù)據(jù)備份的作用在于：一方面，在數(shù)據(jù)受到損害時對數(shù)據(jù)進行還原和恢復(fù)；另一方面，數(shù)據(jù)信息的歷史性、長久保存，方便數(shù)據(jù)的歸檔。

2.數(shù)據(jù)備份存儲技術(shù)

備份換言之就是數(shù)據(jù)的再存儲，因此備份技術(shù)是存儲技術(shù)的重要內(nèi)容之一，但是數(shù)據(jù)備份存儲作為計算機系統(tǒng)技術(shù)與簡單的備份區(qū)別很大。計算機數(shù)據(jù)備份存儲技術(shù)時更為全面、完整、穩(wěn)定安全的數(shù)據(jù)信息的備份，是網(wǎng)絡(luò)系統(tǒng)高效數(shù)據(jù)存儲的，也是安全性較高的網(wǎng)絡(luò)備份。

文件存儲作為最基礎(chǔ)的數(shù)據(jù)類型是隨機存儲在硬盤上的數(shù)據(jù)片段和文檔資料，這些存儲的數(shù)據(jù)文檔、報表甚至是作為數(shù)據(jù)庫文件的應(yīng)用程序等等在存儲一定的量就會出現(xiàn)超出容量的情況因此對其的整合是必要的。這樣的整合是將存儲的各類數(shù)據(jù)或者是數(shù)據(jù)庫以一個順序和程序的形式出現(xiàn)，幫助人們解決備份存儲的空間問題，技術(shù)問題以及成本問題。更能將工作人員的連續(xù)數(shù)據(jù)維護和監(jiān)控從繁重的工作中解放出來。

3.保障計算機數(shù)據(jù)網(wǎng)絡(luò)備份的安全性策略

通過網(wǎng)絡(luò)傳輸?shù)膫浞輸?shù)據(jù)在傳輸過程和傳輸路徑方面必須確保數(shù)據(jù)的安全性。若不能保證數(shù)據(jù)的安全那么一些企業(yè)的關(guān)鍵數(shù)據(jù)和重要應(yīng)用程序就會受損，甚至是失去了備份的意義。因此相比單機備份而言網(wǎng)絡(luò)備份更要確保安全傳輸和安全存儲。

首先確保備份數(shù)據(jù)的機密性。數(shù)據(jù)信息的網(wǎng)絡(luò)備份不能被非法用戶隨意獲得，因此在數(shù)據(jù)備份過程和傳輸過程中必須防止數(shù)據(jù)的機密性被破壞。一般數(shù)據(jù)備份常用的方法是加密。必須保證是數(shù)據(jù)擁有者才能使用這些數(shù)據(jù)信息，關(guān)鍵的數(shù)據(jù)信息的加密工作相比更加嚴格。數(shù)據(jù)內(nèi)容不容有失，甚至是數(shù)據(jù)的相關(guān)名稱和代碼等也不能隨便被非法進入系統(tǒng)的人獲得才是最能保障數(shù)據(jù)安全的方式。

此外，在數(shù)據(jù)網(wǎng)絡(luò)傳輸存儲之前一定要確認接受信息一方的真實性，核實雙方信息是否匹配，一定要在雙方身份確認之后才能對網(wǎng)絡(luò)的數(shù)據(jù)信息進行發(fā)送和接受，這樣既避免了欺詐行為又確保了網(wǎng)絡(luò)中間不可信的因素存在使數(shù)據(jù)信息遭到破壞。

其次。確保備份數(shù)據(jù)的完整性。數(shù)據(jù)備份存儲不是一個簡單的過程，數(shù)據(jù)信息是通過設(shè)備和網(wǎng)絡(luò)之間傳輸來完成備份數(shù)據(jù)存儲的。這一個成必須要保障所傳輸?shù)男畔⑼暾乇簧蟼鞫疫@些數(shù)據(jù)信息不能被其他方攔截和篡改，以破壞備份數(shù)據(jù)信息的內(nèi)容和屬性等。此外在存儲時也要保障數(shù)據(jù)信息的正確無誤完整保存。

再次，備份存儲的數(shù)據(jù)可用性。數(shù)據(jù)存儲必須是可用的，而且是計算機資源用戶合理合法的使用。對于網(wǎng)絡(luò)備份系統(tǒng)的信息和信息用戶系統(tǒng)的信息是完全一致的，是可用的。備份數(shù)據(jù)資料必須在合法用戶需要時可以隨時安全使用。這是網(wǎng)絡(luò)數(shù)據(jù)備份存儲必須保證的。

篇4

【關(guān)鍵詞】云計算 大數(shù)據(jù) 云數(shù)據(jù)中心 安全體系

一、引言

大數(shù)據(jù)時代，原有的信息資源處理手段已經(jīng)不適應(yīng)迅速增大的數(shù)據(jù)量級。大數(shù)據(jù)依托網(wǎng)絡(luò)技術(shù)，采用數(shù)據(jù)挖掘、關(guān)聯(lián)分析等技術(shù)手段對分布式存儲的異構(gòu)海量數(shù)據(jù)進行處理。無論是網(wǎng)絡(luò)環(huán)境、計算平臺、還是存儲載體，都分屬不同的信息系統(tǒng)。大數(shù)據(jù)進一步加劇了網(wǎng)絡(luò)空間中防御與攻擊的不對稱性，大數(shù)據(jù)信息安全主要體現(xiàn)在處理系統(tǒng)、過程的安全，而傳統(tǒng)的信息安全防護措施多集中在“封堵查殺”層面，難以應(yīng)對大數(shù)據(jù)時代的信息安全挑戰(zhàn)。因此應(yīng)加快構(gòu)建多層次、高質(zhì)量的大數(shù)據(jù)縱深防御體系結(jié)構(gòu)。加強大數(shù)據(jù)信息安全保障能力，是解決大數(shù)據(jù)安全的唯一出路。

二、大數(shù)據(jù)安全挑戰(zhàn)

基于大數(shù)據(jù)環(huán)境下所帶來的安全挑戰(zhàn)包括：

1、應(yīng)用安全防護：大數(shù)據(jù)環(huán)境下的應(yīng)用防護風(fēng)險，包括資源濫用、拒絕服務(wù)攻擊、不安全集成模塊或API接口及WEB安全；2、虛擬化環(huán)境安全：基于云計算和虛擬化技術(shù)的云計算數(shù)據(jù)中心為大數(shù)據(jù)提供了一個開放的環(huán)境，分布在不同地區(qū)的資源可以快速整合，動態(tài)配置，實現(xiàn)數(shù)據(jù)集合的共建共享。網(wǎng)絡(luò)訪問便捷化和數(shù)據(jù)流的形成，為實現(xiàn)資源的快速彈性推送和個性化服務(wù)提供基礎(chǔ)。然而平臺的暴露，使得蘊含著海量數(shù)據(jù)和潛在價值的大數(shù)據(jù)更容易吸引黑客的攻擊。虛擬化環(huán)境安全成為大數(shù)據(jù)安全的重要威脅。3、移動接入安全：BYOD-移動接入安全，包括身份假冒和信息劫持等。4、安全與大數(shù)據(jù)融合：惡意的內(nèi)部員工和數(shù)據(jù)隱私保護面臨威脅。

本文分別從上面四個方面來分析大數(shù)據(jù)安全技術(shù)體系的建設(shè)辦法，構(gòu)建大數(shù)據(jù)縱深防御體系結(jié)構(gòu)。

三、大數(shù)據(jù)安全技術(shù)體系

大數(shù)據(jù)應(yīng)用安全防護主要在應(yīng)用防護區(qū)部署虛擬化綜合安全設(shè)備，包括DDOS、防火墻、IPS和WEB防火墻（WAF）等，同時部署漏洞分析系統(tǒng)，進行安全評估和滲透測試。

大數(shù)據(jù)虛擬化環(huán)境安全主要通過虛擬化防火墻TopVSP（Vgate、TAE、TD）和虛擬機管理器安全，即外部防火墻。實現(xiàn)虛擬化環(huán)境的性能優(yōu)化和安全策略遷移等。

移動接入安全從下到上分為統(tǒng)一接入控制、數(shù)據(jù)安全及威脅防護和全生命周期設(shè)備管理三層。其中統(tǒng)一接入控制層在終端接入?yún)^(qū)使用身份認證及授權(quán)和虛擬應(yīng)用及虛擬桌面，在網(wǎng)絡(luò)接入?yún)^(qū)使用VPN加密，在業(yè)務(wù)服務(wù)區(qū)使用遠程鎖定、數(shù)據(jù)擦除、備份與恢復(fù)、GPS定位和自動報警燈管理器后動來實現(xiàn)。全生命周期設(shè)備管理包括資產(chǎn)接入、部署、運行和銷毀全流程管理，資產(chǎn)接入包括資產(chǎn)的發(fā)現(xiàn)、注冊和初始化；資產(chǎn)部署主要包括安全基線制定和配置及策略執(zhí)行；資產(chǎn)運行包括資產(chǎn)的掛失、鎖定、密碼重置、定位、備份與恢復(fù)、報警等；數(shù)據(jù)銷毀采用遠程應(yīng)用卸載和數(shù)據(jù)擦除等技術(shù)。

基于大數(shù)據(jù)融合下的安全云，主要實現(xiàn)方式是通過安全檢測與大數(shù)據(jù)技術(shù)相融合，利用云計算能力及大數(shù)據(jù)處理機制實現(xiàn)信息訪問的審計、安全威脅智能的發(fā)現(xiàn)、隱私數(shù)據(jù)的保護。主要包括安全監(jiān)測與預(yù)警和安全審計及隱私保護兩方面內(nèi)容。安全檢測與預(yù)警主要是通過7×24監(jiān)控和運維，對事件進行收集、處理和存儲，繼而進行關(guān)聯(lián)分析、威脅檢測、風(fēng)險計算和風(fēng)險分析，將分析的結(jié)果通過短信或者郵件通告，并形成相應(yīng)的工單、知識庫和相應(yīng)的報表進行派發(fā)、流轉(zhuǎn)和處置。安全審計及隱私保護主要是為了避免內(nèi)部惡意員工導(dǎo)致的云數(shù)據(jù)中心信息泄露，主要通過云安全設(shè)計平臺實現(xiàn)大數(shù)據(jù)的審計和取證，主要的審計技術(shù)包括業(yè)務(wù)訪問審計、數(shù)據(jù)庫審計、安全運維審計和數(shù)據(jù)隱私保護審計等。

篇5

關(guān)鍵詞：大數(shù)據(jù) 智能 數(shù)據(jù)分析

中圖分類號：F503 文獻標識碼：A 文章編號：1674-098X（2014）04（a）-0021-01

對于數(shù)據(jù)分析來說，其主要的目的就是通過對數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測趨勢。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說，大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)，首先要對數(shù)據(jù)分析這一概念進行深入研究。

1 數(shù)據(jù)分析

數(shù)據(jù)分析的過程其實簡單的說就是做報告，做什么樣的報告反映什么樣的指標。最開始的時候基本上是data processing。例如零售行業(yè)來說，最主要的指標就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業(yè)會有不同的相關(guān)的KPI需要跟蹤，所以報告的內(nèi)容也會有所側(cè)重，但是只要你一個行業(yè)做久了，熟悉了套路之后，基本上就是以同樣的方法開展。

對于數(shù)據(jù)分析，如果公司部門分的比較細的（例如可能有建模組），那么做數(shù)據(jù)分析可能永遠都是做data processing了。對于模型的分析，需要你對業(yè)務(wù)有了深入的了解就可以建立一些模型出來（例如推薦模型）等等。

數(shù)據(jù)分析主要涉及的技能：

（1）數(shù)據(jù)庫的能力。越全面越好，如果不是理工科的，最起碼要會select那些簡單的查詢語句。

（2）EXCEL、PPT的能力。報告的呈現(xiàn)一般都是Excel+PPT的形式，最好VBA，這樣就可以將很多人工的工作轉(zhuǎn)化為自動化的能力，提高工作效率，領(lǐng)導(dǎo)也對你刮目相看，自己也有更多空余的時間準備其他方面的知識。

（3）市場分析能力。學(xué)會觀察市場的走向和關(guān)注的內(nèi)容，例如零售行業(yè)，現(xiàn)在大家都對CRM很熱衷，那相關(guān)的分析方法和方式是怎么樣的，你要自己去了解。從來不會有人手把手的將所有東西都告訴你，你必須自己學(xué)會去增長知識。

（4）一些會計的知識。因為通過以上分析，就是會計管理的一部分內(nèi)容，最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的，對于做數(shù)據(jù)分析也很有好處的說。

綜合來看，可以說數(shù)據(jù)分析=技術(shù)+市場+戰(zhàn)略。

2 如何培養(yǎng)數(shù)據(jù)分析能力

理論：

基礎(chǔ)的數(shù)據(jù)分析知識，至少知道如何做趨勢分析、比較分析和細分，不然拿到一份數(shù)據(jù)就無從下手；

（2）基礎(chǔ)的統(tǒng)計學(xué)知識，至少基礎(chǔ)的統(tǒng)計量要認識，知道這些統(tǒng)計量的定義和適用條件，統(tǒng)計學(xué)方法可以讓分析過程更加嚴謹，結(jié)論更有說服力；

（3）對數(shù)據(jù)的興趣，以及其它的知識多多益善，讓分析過程有趣起來。

實踐：

（1）明確分析的目的。如果分析前沒有明確分析的最終目標，很容易被數(shù)據(jù)繞進去，最終自己都不知道自己得出的結(jié)論到底是用來干嘛的；

（2）多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運營中來，分析當(dāng)然要回歸到業(yè)務(wù)中去，多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹；

（3）了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解，當(dāng)然指標的統(tǒng)計邏輯和規(guī)則是必須熟記于心的，不然很容易就被數(shù)據(jù)給坑了；

（4）最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù)，這是個必經(jīng)的過程，往往一個工作經(jīng)驗豐富的非數(shù)據(jù)分析的運營人員要比剛進來不久的數(shù)據(jù)分析師對數(shù)據(jù)的了解要深入得多，就是這個原因。

3 大數(shù)據(jù)

大數(shù)據(jù)就是通過統(tǒng)計分析計算機收集的數(shù)據(jù)，在人們可能不知道“為什么”的前提下，了解到事物的狀態(tài)、趨勢、結(jié)果等“是什么”。

對于大數(shù)據(jù)，一直來說，數(shù)據(jù)規(guī)模導(dǎo)致的存儲、運算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑，以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了，后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻，就徹底將大數(shù)據(jù)帶入了一個普及的領(lǐng)域。

從技術(shù)層面說，大數(shù)據(jù)和以前的數(shù)據(jù)時代的最大差異在于，以前是數(shù)據(jù)找應(yīng)用/算法的過程（例如各大銀行的大集中項目，以及數(shù)據(jù)建倉），而大數(shù)據(jù)時代的重要技術(shù)特征之一，是應(yīng)用/算法去找數(shù)據(jù)的過程，因為數(shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。

大數(shù)據(jù)的特點：

（1）大數(shù)據(jù)不等同于數(shù)據(jù)大，我們處理問題是根據(jù)這個問題的所有數(shù)據(jù)而非樣本數(shù)據(jù)，即樣本就是總體；不是精確性而是混雜性；不是因果關(guān)系而是相關(guān)關(guān)系。

（2）大數(shù)據(jù)應(yīng)用的幾個可能：當(dāng)文字變成數(shù)據(jù)，此時人可以用之閱讀，機器可以用之分析；當(dāng)方位變成數(shù)據(jù)，商業(yè)廣告，疫情傳染監(jiān)控，雅安地震時的谷歌尋人；當(dāng)溝通變成數(shù)據(jù)，就成了社交圖譜。一切都可以量化，將世界看作可以理解的數(shù)據(jù)的海洋，為我們提供了一個從來未有過的審視現(xiàn)實的視角。

（3）數(shù)據(jù)創(chuàng)新的價值：數(shù)據(jù)的再利用。例如重組數(shù)據(jù)：隨著大數(shù)據(jù)出現(xiàn)，數(shù)據(jù)的總和比部分更有價值，重組總和和本身價值也比單個總和更大；可擴展數(shù)據(jù)：在設(shè)計數(shù)據(jù)收集時就設(shè)計好了它的可擴展性，可以增加數(shù)據(jù)的潛在價值；數(shù)據(jù)的折舊值：數(shù)據(jù)會無用，需淘汰更新；數(shù)據(jù)廢氣：比如語音識別，當(dāng)用戶指出語音識別程序誤解了他的意思，實際上就有效的訓(xùn)練了這個系統(tǒng)。

總之，大數(shù)據(jù)是因為對它的分析使用，才產(chǎn)生和體現(xiàn)它的價值，而不是因為其用到了突出的技術(shù)和算法才體現(xiàn)了它的價值。

4 大數(shù)據(jù)下的智能數(shù)據(jù)分析

在大數(shù)據(jù)的背景下，必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個單獨的數(shù)據(jù)是沒有意義的，實際中，選擇處在兩個極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系，把它們放在一個框架中看才能發(fā)現(xiàn)問題。因此，可以用以下四種方法在大數(shù)據(jù)背景下進行智能數(shù)據(jù)分析：

（1）從解決問題的角度出發(fā)收集數(shù)據(jù)；

（2）把收集的數(shù)據(jù)整理好，放入一個框架內(nèi)，并利用這個框架幫助決策者做出決定；

（3）評估決定與行動的效果，這將告訴我們框架是否合理；

（4）如果有新的數(shù)據(jù)出現(xiàn)，我們將考察能否利用它對前面三步做出改進，以及我們今天是否還需要收集更多種類的數(shù)據(jù)。

5 結(jié)語

數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題，提升公司價值，而這些是從數(shù)據(jù)發(fā)覺的，而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù)，通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等，發(fā)現(xiàn)業(yè)務(wù)上存在的問題，幫助公司業(yè)務(wù)的優(yōu)化。

參考文獻

[1] 李貴兵，羅洪.大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)研究[J].科技資訊，2013（30）.

篇6

大數(shù)據(jù)時代實質(zhì)上指的是信息時代，因為大數(shù)據(jù)的大內(nèi)涵指向為計算，數(shù)據(jù)則是指信息，也就是說，大數(shù)據(jù)從本質(zhì)上來說就是一種關(guān)于信息的處理技術(shù)，其以計算為主要特征。同時，在大數(shù)據(jù)時代的背景之下需要理解大數(shù)據(jù)與云計算之間的關(guān)聯(lián)性。因為在數(shù)據(jù)積累越來越多、處理需求越來越高的情況之下，只有依靠更為精密的計算器才能解決數(shù)據(jù)積累庫存的問題。下面就以此為前提具體分析大數(shù)據(jù)時代背景下的計算機信息處理技術(shù)。

關(guān)鍵詞：

大數(shù)據(jù)；計算機；信息處理技術(shù)

當(dāng)前，人類的認識已確定了以“關(guān)系”作為解釋萬事萬物的基本事實，并且認為在人類社會中，只有有效處理人與人、人與物之間的信息交流問題，令其實現(xiàn)快速化、精準化的對接才能較好促進人類社會的演進與發(fā)展。因此，在這種較為進步的理念基礎(chǔ)上，目前的計算機信息處理技術(shù)應(yīng)作為工具、方法、意圖而為人類走出困境及可持續(xù)發(fā)展發(fā)揮更大的作用。

1大數(shù)據(jù)特征及影響

大數(shù)據(jù)的特征主要體現(xiàn)在三大方面，分別是數(shù)據(jù)量、存儲空間、處理速度。因而在計算機處理信息時，需要鑒別區(qū)分數(shù)據(jù)種類，如區(qū)分文字、圖片、視頻、網(wǎng)頁格局此類信息就有助于提高處理的便利性。根據(jù)現(xiàn)有社會結(jié)構(gòu)中起作用的企業(yè)集團觀察，大數(shù)據(jù)的影響主要是令原來的制造生產(chǎn)“6+1”產(chǎn)業(yè)鏈轉(zhuǎn)變?yōu)椤?+1”。比如，傳統(tǒng)的制造業(yè)生產(chǎn)中要求根據(jù)產(chǎn)品設(shè)計、原料運輸、生產(chǎn)加工、訂單處理、市場營銷、零售六大環(huán)節(jié)進行按部就班地生產(chǎn)制造，而運用大數(shù)據(jù)之后就可以較好打破這種產(chǎn)業(yè)鏈的“程序”，從而實現(xiàn)重新排列組合。比如，當(dāng)建立大數(shù)據(jù)平臺之后，就可以較好利用數(shù)據(jù)信息，網(wǎng)絡(luò)平臺首先以“訂單處理”作為主要切入口，然后壓縮其中的環(huán)節(jié)，提高生產(chǎn)效率，實現(xiàn)零庫存，最終實現(xiàn)訂單處理、生產(chǎn)設(shè)計、原料運輸、生產(chǎn)加工的新型產(chǎn)業(yè)鏈閉環(huán)。也就是說，通過運用大數(shù)據(jù)方法，能夠有效按照信息采集、數(shù)據(jù)分析、文字表述等步驟，較好實現(xiàn)以消費者為主導(dǎo)的制造生產(chǎn)計劃，令市場經(jīng)濟環(huán)境下的企業(yè)運作更具有計劃性、可控制性，既有利于資源的合理配置，也能夠為企業(yè)的發(fā)展提供理性規(guī)劃選擇。

2計算機處理技術(shù)分析

計算機數(shù)據(jù)處理技術(shù)中包括以信息為主要處理對象的獲取、傳輸、加工、存儲、感知、安全、發(fā)展、問題。具體如下。

2.1獲取-加工-傳輸

計算機信息處理技術(shù)以互聯(lián)網(wǎng)作為基礎(chǔ)，由于它的交互屬性，因而在整體上要完成的是一種數(shù)據(jù)信息的傳達—處理—接收過程。其中處理部分是計算機信息處理技術(shù)發(fā)揮重要作用的領(lǐng)域。比如，以搜索為例，在引擎中消費者或用戶往往需要通過“關(guān)鍵詞”檢索自己所需的“相關(guān)信息”，因此，計算機信息處理在這個方面就需要提前分類與處理信息。（1）從獲取信息的層面觀察，手段的合理性非常重要，其中要求設(shè)置一個具有實時性的監(jiān)控機制，以此達到及時存儲處理、垃圾處理，其目的在于提高軟件操作效率，有效實現(xiàn)數(shù)據(jù)處理的合理化。（2）從處理信息的角度觀察，其中的處理主要是以交互性為前提，從處理信息本身、用戶需求兩個方向考慮實施數(shù)據(jù)信息的“加工”，通常要求按照性質(zhì)、功能、學(xué)科、“熱冷”（使用頻率）等進行科學(xué)分類，以此為使用者提供便利。（3）從傳輸?shù)慕嵌确治?，其主要是通過信息平成，其中的傳輸要求計算機處理技術(shù)為其提供安全性、可控制性。

2.2存儲-感知-安全

大數(shù)據(jù)的數(shù)量積累決定了在其在存儲方面的困難及占用空間的無限擴展，因此，除了實時存儲、清除之外，最重要的是發(fā)展一種新的技術(shù)，令存儲能夠更為安全、高效集中。比如，DEEPWEB數(shù)據(jù)感知技術(shù)、安全技術(shù)就可以為其保駕護航。（1）時代背景決定了大數(shù)據(jù)積累庫存量的持續(xù)增長、快速增長，因此，在信息處理過程中要求以這種增速作為主要特征，運用一系列技術(shù)手段，更為安全、快速地完成處理，具體要求提高處理效率。從存儲信息的手段實現(xiàn)觀察，應(yīng)以分類原則為基礎(chǔ)，盡量從結(jié)構(gòu)形式進行數(shù)據(jù)的高效化存儲。（2）感知重點集中于DEEPWEB數(shù)據(jù)感知，其中主要的內(nèi)容指的是將其與獲取技術(shù)進行結(jié)合，利用網(wǎng)絡(luò)深層空間技術(shù)實現(xiàn)數(shù)據(jù)信息抽取、分析，其處理過程以動態(tài)化的數(shù)據(jù)訪問作為整理手段，集合效率較高。（3）在數(shù)據(jù)信息的安全技術(shù)處理層面觀察，要求從多個層面著手，包括重點數(shù)據(jù)的檢測、信息技術(shù)產(chǎn)品的開發(fā)、計算機信息安全體系的建構(gòu)等。根據(jù)現(xiàn)階段的安全防護要求分析，應(yīng)注重操作人員、計算機信息處理人員的共同努力，如操作者或用戶應(yīng)注重應(yīng)用時的安全性，降低危險發(fā)生的可能性。計算機信息處理技術(shù)人員則應(yīng)盡量過濾、禁止危險信息。

2.3發(fā)展-問題

信息技術(shù)推動互聯(lián)網(wǎng)發(fā)展的過程中，顯著的特點在于易變性，因此，在實踐過程中要求計算機信息處理技術(shù)的主體能夠擁有一個動態(tài)化的發(fā)展理念，始終站在發(fā)展的前沿為用戶的使用提供便利。下面先說明發(fā)展的基本方向為向云計算網(wǎng)絡(luò)轉(zhuǎn)化發(fā)展，然后指出當(dāng)前計算機信息處理技術(shù)分析中不可忽視的兩大難題。（1）計算機所處的網(wǎng)絡(luò)環(huán)境因其本身的屬性、局限性決定了它的硬件的使用范圍，同時要求實現(xiàn)計算機網(wǎng)絡(luò)向云計算機網(wǎng)絡(luò)的轉(zhuǎn)換，尤其是在當(dāng)前數(shù)據(jù)越來越多的情況下，其發(fā)展理念趨向于網(wǎng)絡(luò)數(shù)據(jù)、計算機硬件之間的分離，并以此達到轉(zhuǎn)化目的。（2）第一個問題是作為工具的“雙刃性”。計算機信息處理的基本面集中于網(wǎng)絡(luò)之中，而這種以“符號系統(tǒng)”構(gòu)建起來的語言編程往往由于工具使用主體的多元性而使作為工具的計算機信息處理技術(shù)具有“雙刃性”。第二個問題是數(shù)據(jù)信息的“無用化”。作為知識的數(shù)據(jù)信息第一次發(fā)生質(zhì)的飛躍是由于印刷術(shù)的推動，最近一次根本性的轉(zhuǎn)變則主要是依賴于信息技術(shù)。當(dāng)前在大數(shù)據(jù)的時代背景之下，云計算的發(fā)展成為了必要條件，只有研發(fā)一系列計算軟件才能真正應(yīng)對當(dāng)前的大數(shù)據(jù)時代。在這個方面機器優(yōu)于人，但人類與信息處理之間脫離卻產(chǎn)生了一個重要的后果，即數(shù)據(jù)信息的無用化，比如，碎片化信息、海量集中信息中的選擇性決定了威廉姆斯所說的“傳播的控制性”，所以在這種情況下，數(shù)據(jù)信息作為一種處理對象、傳播對象，它更多是在一種選擇之中完成“單向供應(yīng)”。

3結(jié)語

大數(shù)據(jù)時代背景下的計算機信息處理技術(shù)相對復(fù)雜，專業(yè)化程度高、處理技術(shù)難度大，人腦處理的方式已很難適應(yīng)目前所面臨的大數(shù)據(jù)，因此，應(yīng)注重對于云計算網(wǎng)絡(luò)的研究、引入、運用，以此實現(xiàn)大數(shù)據(jù)處理的“機器化”。根據(jù)現(xiàn)階段的發(fā)展?fàn)顩r觀察，建議在計算機信息處理技術(shù)方面增加技術(shù)研發(fā)投入，同時，盡量開發(fā)數(shù)據(jù)處理針對性較強的專業(yè)化軟件，較好應(yīng)對大數(shù)據(jù)時代，以及所帶來的挑戰(zhàn)。

參考文獻

[1]楊潔.辦公自動化中計算機信息處理技術(shù)的應(yīng)用探析[J].科技資訊,2016(16).

[2]陳成業(yè).關(guān)于大數(shù)據(jù)與計算機信息處理技術(shù)的發(fā)展辨析[J].信息系統(tǒng)工程,2016(5).

篇7

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；創(chuàng)新；社會管理機制

隨著云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等網(wǎng)絡(luò)產(chǎn)業(yè)的迅速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)滲透進了社會生活的各個領(lǐng)域，成為重要的社會生產(chǎn)因素，推動著全球經(jīng)濟社會的迅速發(fā)展。①當(dāng)今時代，城市管理正朝著信息化、網(wǎng)絡(luò)化以及精細化方向邁進。在這樣的發(fā)展新形勢下，在數(shù)據(jù)收集、處理、加工方面頗占優(yōu)勢的大數(shù)據(jù)技術(shù)便成為創(chuàng)新社會管理機制的重要手段。我們首先要掌握河北省社會治理中存在的問題，進而將其與大數(shù)據(jù)技術(shù)相聯(lián)系，運用大數(shù)據(jù)技術(shù)變革社會的管理方式，從而找到解決河北省社會現(xiàn)存問題的方法，推動河北省社會又快又好發(fā)展。

一、大數(shù)據(jù)的內(nèi)涵

1.大數(shù)據(jù)的概念大數(shù)據(jù)，又被稱為巨量資料②，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)通常是指以一種多元化的形式，通過眾多來源途徑搜集而來的龐大的數(shù)據(jù)組合，大數(shù)據(jù)通常具有實時性。大數(shù)據(jù)技術(shù)是位居數(shù)據(jù)分析前沿的現(xiàn)代化技術(shù)。2.大數(shù)據(jù)的特點在物聯(lián)網(wǎng)等各種網(wǎng)絡(luò)的迅速發(fā)展，智能終端、視頻監(jiān)控等網(wǎng)絡(luò)技術(shù)快速普及，數(shù)據(jù)呈現(xiàn)爆炸性增長的背景下，應(yīng)時代而產(chǎn)生的大數(shù)據(jù)表現(xiàn)出了四大顯著的特征。首先，大數(shù)據(jù)規(guī)模龐大。所謂大數(shù)據(jù)，最重要的特征是大，從TB級別，躍升到了PB級別。到現(xiàn)在為止，社會所生產(chǎn)的印刷材料的總量才幾百PB，從古至今所有人類所說過的話的總量大約才幾EB（1EB=1024PB）。從這些對比分析中，足以看出大數(shù)據(jù)所蘊含的數(shù)據(jù)規(guī)模之大。其次是大數(shù)據(jù)處理的高速性。大數(shù)據(jù)有一個“一秒定律”，其含義是為了處理結(jié)果能夠及時有效，大數(shù)據(jù)必須要在1秒鐘內(nèi)形成所需要的答案，如若不能，處理結(jié)果則過期作廢。面對如此龐大的數(shù)據(jù)群，要在1秒內(nèi)獲取答案，這是堪比光速的運算時速。第三是大數(shù)據(jù)種類的多樣性。大數(shù)據(jù)的種類非常多，包括各種視頻、圖片、地理位置信息等等。多樣性的數(shù)據(jù)類型，促使數(shù)據(jù)劃分為結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是以文本為主的便于存儲的數(shù)據(jù)類型，而非結(jié)構(gòu)化數(shù)據(jù)則是與之相反的極不容易存儲的數(shù)據(jù)類型，如今社會非結(jié)構(gòu)化數(shù)據(jù)越來越多，數(shù)據(jù)多樣性的發(fā)展對數(shù)據(jù)的處理能力提出了更高的要求。第四是大數(shù)據(jù)的價值性。大數(shù)據(jù)的價值密度極低，以一段視頻為例，在整個視頻中，能夠使用的數(shù)據(jù)可能只有一兩秒。想要獲取大數(shù)據(jù)的價值就好像在沙地里尋找金子般困難，要從紛繁復(fù)雜數(shù)量龐大的數(shù)據(jù)中尋找非常稀少但卻極其珍貴的數(shù)據(jù)信息。

二、河北省社會管理中存在的問題及原因

1.河北省社會管理中存在的問題當(dāng)今社會飛速變化發(fā)展，但與之相對應(yīng)的社會管理機制卻處于滯后狀態(tài)。河北省社會管理機制存在著諸多問題，亟待解決，主要表現(xiàn)在以下幾個方面：首先是社會的各個管理部門之間的數(shù)據(jù)資源不能很好地做到共同分享，社會管理處于一種破碎化的管理狀態(tài)之下，各部門之間相互分割，單獨管理，缺乏溝通，進而導(dǎo)致對相同數(shù)據(jù)進行重復(fù)統(tǒng)計，極大地浪費了政府進行社會管理的成本。同時由于各部門之間缺乏溝通，致使民眾辦一件事要在各個部門之間來回穿梭，從而導(dǎo)致公共服務(wù)質(zhì)量水平低下。其次是河北省社會管理中存在著嚴重的越位、缺位現(xiàn)象。政府在社會管理中占據(jù)主導(dǎo)地位，實施著全能型政府的管理模式，忽視甚至阻礙社會組織和民眾在社會管理中的作用，最終也導(dǎo)致政府自身負擔(dān)過重，使社會服務(wù)效率低下。管得過寬分散了政府管理職責(zé)范圍之內(nèi)的事的精力，導(dǎo)致該處理之事管不好，多管之事也為難的局面。除此之外，河北省在社會管理中還存在著決策制定失誤，執(zhí)行行為受阻，社會監(jiān)測和預(yù)警體系不完善等問題。2.引發(fā)這些問題的原因首先從思想觀念方面而言，河北省在社會管理中管理理念滯后，在特色社會主義社會建設(shè)過程中仍未實現(xiàn)從管制理念到服務(wù)理念的轉(zhuǎn)變；在社會管理過程中，各類主體之間依舊沒有協(xié)同管理的觀念；在數(shù)據(jù)頻繁變換的今天，仍舊沒有改變靜態(tài)管理觀念。思想指引行為，管理理念落后進而導(dǎo)致管理行為跟不上社會發(fā)展的步伐，社會發(fā)展所產(chǎn)生的問題得不到解決，反過來又阻礙了社會的管理。其次是在大數(shù)據(jù)時代下，在社會管理中缺乏對大數(shù)據(jù)的統(tǒng)籌機構(gòu)以及標準體系，從而導(dǎo)致數(shù)據(jù)資源無法實現(xiàn)共享、得到有效的利用。并且決策者忽視已有數(shù)據(jù)和民眾意愿，致使其所做的決策不能夠與時俱進，符合民意，從而使得社會管理中民怨四起，嚴重制約了社會發(fā)展。第三是在社會管理中，數(shù)據(jù)管理技術(shù)的落后也是一個重要的因素，大數(shù)據(jù)極為重要的作用在于預(yù)測，只有通過預(yù)測才能未雨綢繆，從而提早做好防范，數(shù)據(jù)管理技術(shù)的落后阻礙了這一過程的實現(xiàn)，進而影響了社會的管理。

三、利用大數(shù)據(jù)技術(shù)創(chuàng)新河北省社會管理機制的對策

篇8

[關(guān)鍵詞]大數(shù)據(jù)分析 批量處理計算 流式處理計算

中圖分類號：X734.2 文獻標識碼：A 文章編號：1009-914X（2016）10-0206-01

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，物聯(lián)網(wǎng)技術(shù)、移動互聯(lián)技術(shù)、社交媒體等技術(shù)及其應(yīng)用在是越來越多，全球的數(shù)據(jù)急劇膨脹，人類已經(jīng)步入了大數(shù)據(jù)的時代。大數(shù)據(jù)中包含著大量的隱含信息，需要從這些隱含的信息中提取有價值的大知識，這些大的知識將在更高的層面上、更廣闊的視角、更大范圍內(nèi)對用戶提供洞察力、決策力，為人類以及社會創(chuàng)造更大的利益以及價值。目前主流的大數(shù)據(jù)庫計算模式分為兩種，分別為批量式計算和流式計算兩種模式。

在批量計算模式中，首先是需要對海量數(shù)據(jù)進行存儲，然后對這些存儲的靜態(tài)數(shù)據(jù)進行集中起來進行計算，目前的Hadoop就是一種非常典型的批量計算架構(gòu)；在流式計算模式中，無法確定數(shù)據(jù)的到來時刻以及數(shù)據(jù)的次序，也不用將數(shù)據(jù)全部進行存儲起來進行計算。而是當(dāng)這些流動的數(shù)據(jù)到來之后直接在內(nèi)存中進行實時性的處理，典型的Twitter、Storm、Yahoo的S4就是這種流式的數(shù)據(jù)計算模式。

2 應(yīng)用場景及數(shù)據(jù)特征

2.1 批量處理系統(tǒng)

對于批量處理系統(tǒng)來說，這類系統(tǒng)比較適合對于靜態(tài)數(shù)據(jù)進行數(shù)據(jù)挖掘，從海量信息中獲取具體的含義，得到很明智的決策，最終為領(lǐng)導(dǎo)提供輔助決策制定相應(yīng)的應(yīng)對措施來實現(xiàn)業(yè)務(wù)目標。大數(shù)據(jù)中的批量處理系統(tǒng)適合先進行存儲然后進行計算，對于數(shù)據(jù)處理的實時性要求不是很高，但是對于數(shù)據(jù)的準確性和全面性要求更高。

2.1.1 數(shù)據(jù)特征

對于批量數(shù)據(jù)來說，通常具備三個典型的特征，（1）數(shù)據(jù)量比較大，數(shù)據(jù)量從TB級別到PB級別，數(shù)據(jù)主要是以靜態(tài)的形式存儲在磁盤上，存儲的時間比較大，一般不進行數(shù)據(jù)的更新數(shù)據(jù)，海量數(shù)據(jù)可以重復(fù)進行使用，這種數(shù)據(jù)不容易移動以及備份處理；（2）數(shù)據(jù)的精度比較高，存儲的這些數(shù)據(jù)一般是屬于企業(yè)中的一部分，是長時間積累下來的；（3）數(shù)據(jù)價值密度相對來說比較低。往往有價值的信息比較少，因此需要采用合理的分析算法對這些批量數(shù)據(jù)進行信息抽取，同時處理批量數(shù)據(jù)比較耗時，一般不提供交互功能，當(dāng)提取結(jié)果與預(yù)期差別很大時，會浪費很多時間。因此，批量處理系統(tǒng)比較適合相對比較成熟的作業(yè)。

2.1.2 代表性處理系統(tǒng)

對于批處理系統(tǒng)來說，比較典型的代表是由Google公司開發(fā)的文件系統(tǒng)GFS（google File System）和研發(fā)的MapReduce編程模型。雖然Google公司沒有對這兩項技術(shù)進行源碼的公開，但是基于發(fā)表的兩篇文章，Nutch子項目中的Hadoop實現(xiàn)了開源的兩個產(chǎn)品：HDFS和MapReduce。Hadoop成為批量處理架構(gòu)中非常典型的一種架構(gòu)模式，HDFS負責(zé)對靜態(tài)的數(shù)據(jù)進行存儲，通過MapReduce對這些靜態(tài)數(shù)據(jù)進行計算邏輯的分配。Hadoop成為很多IT公司的大數(shù)據(jù)主流架構(gòu)，基于HDFS和MapReduce建立了很多項目。

MapReduce編程模型收到很多主流IT的歡迎，主要有幾個方面的原因：（1）MapReduce是一種沒有共享的大規(guī)模集群系統(tǒng)，這種集群系統(tǒng)具有很好的性價比和伸縮性；（2）MapReduce模型比較簡單，容易理解，便于使用。能夠不僅僅處理大規(guī)模的數(shù)據(jù)，而且能夠?qū)芏嗉毠?jié)進行隱藏（包括自動并行化、負載均衡、災(zāi)備管理等），能夠很大程度上降低程序員的工作量。

2.2 流式處理系統(tǒng)

2.2.1 數(shù)據(jù)特征

一般情況下，對于流式數(shù)據(jù)來說，是一個無窮的數(shù)據(jù)序列信息，對于流式數(shù)據(jù)中的每個序列來說數(shù)據(jù)的來源是不同的，數(shù)據(jù)可能是結(jié)構(gòu)化或非結(jié)構(gòu)化，這些序列往往包含時間特征，或者有其他能夠表示有序的標簽信息。從數(shù)據(jù)庫的角度來說，流式數(shù)據(jù)中的每個元素都可以看成是一個元祖。流式數(shù)據(jù)在不同的場景中能夠表現(xiàn)出不同的特征信息，比如表現(xiàn)流速的大小、元素特征的數(shù)量、數(shù)據(jù)格式不同等。

2.2.2 代表性處理系統(tǒng)

流式計算處理系統(tǒng)目前得到廣泛的應(yīng)用，包括Twitter的Storm，F(xiàn)acebook的Scribe，Linkedin的Samza等。本節(jié)主要是對Twitter的Storm進行詳細的介紹。

Storm的主要特點是一種基于分布式的、可靠、容錯性好的流式處理系統(tǒng)，被分配的流式處理作業(yè)能夠分發(fā)到不同的組件上，被分配的每個組件負責(zé)一項單一的、特定的處理任務(wù)。Storm集群中輸入流由Spout來進行負責(zé)，Storm將流式數(shù)據(jù)分發(fā)給Blot的組件，Blot組件對其進行處理。Storm可以進行實時的數(shù)據(jù)處理以及對數(shù)據(jù)庫進行更新，能夠被用于進行持續(xù)的計算，對連續(xù)的數(shù)據(jù)流進行查詢處理，在計算的過程中結(jié)果是以流的形式輸出給用戶。還可以用于進行分布式的處理RPC。

3 大數(shù)據(jù)關(guān)鍵技術(shù)

3.1 大數(shù)據(jù)批量計算關(guān)鍵技術(shù)

在大數(shù)據(jù)批量計算中，系統(tǒng)架構(gòu)、分布式文件系統(tǒng)、分布式數(shù)據(jù)處理系統(tǒng)等關(guān)鍵技術(shù)成為制約其發(fā)展的關(guān)鍵技術(shù)。

（1）系統(tǒng)架構(gòu)

在進行大數(shù)據(jù)處理的過程中，需要的關(guān)鍵技術(shù)主要是針對海量的數(shù)據(jù)進行存儲以及分析計算，因此選擇合理的架構(gòu)對其進行批量處理是其中的重點。

（2）分布式文件系統(tǒng)

在大數(shù)據(jù)應(yīng)用中，文件系統(tǒng)是其中非常重要的一個部分。對于海量的數(shù)據(jù)需要采取分布式存儲的方式存儲到磁盤上，方便后期的計算。

（3）分布式數(shù)據(jù)處理系統(tǒng)

對于分布到磁盤上的海量信息，如何選取合理的數(shù)據(jù)處理系統(tǒng)對其進行處理分析是其中的一個非常重要的關(guān)鍵點。

3.2 大數(shù)據(jù)流式計算關(guān)鍵技術(shù)

對于流式計算中，理想中的大數(shù)據(jù)流式計算應(yīng)該具有比較低的延遲、高的吞吐量、保持持續(xù)運行、可以伸縮等特征，這些離不開系統(tǒng)的架構(gòu)、海量數(shù)據(jù)的傳輸、編程的接口、高新技術(shù)等關(guān)鍵技術(shù)的合理設(shè)計與規(guī)劃。

（1）系統(tǒng)架構(gòu)設(shè)計

流式計算中的架構(gòu)指不同的各個子系統(tǒng)之間的一種重新組合的方式，對于流式處理計算中需要選擇特定的框架進行流式計算。目前主流的流式計算系統(tǒng)中采用的架構(gòu)分為無中心節(jié)點的對稱系統(tǒng)架構(gòu)以及具備中心節(jié)點的主從式結(jié)構(gòu)。

（2）數(shù)據(jù)傳輸

數(shù)據(jù)傳輸主要是完成從有向任務(wù)圖到物理計算節(jié)點之間的部署，部署各個節(jié)點之間的數(shù)據(jù)傳輸方式。在流式計算系統(tǒng)中，為了能夠具備高的吞吐量、比較低的延遲，需要不斷的優(yōu)化從有向任務(wù)圖到物理計算節(jié)點之間的部署及其映射方式。目前主流的數(shù)據(jù)傳輸方式分為主動推送方式和被動拉取的方式。

（3）編程接口

在流式計算中，為了方便從有向任務(wù)圖到物理計算節(jié)點之間的部署，需要進行編程實現(xiàn)任務(wù)圖中各個節(jié)點的相應(yīng)處理功能。需要編制大量的流式數(shù)據(jù)計算系來提供應(yīng)用編程的接口，方便的接口能夠方便用戶實現(xiàn)內(nèi)部的業(yè)務(wù)邏輯及處理，減少用戶的編程的工作量。

4 總結(jié)與展望

互聯(lián)網(wǎng)技術(shù)、云計算等高新技術(shù)的快速發(fā)展，多樣化的應(yīng)用不斷的增加，數(shù)據(jù)在各行各業(yè)中都成為非常重要的一個組成部分，如何在海量的信息中獲取有價值的信息是大數(shù)據(jù)需要完成的工作。本文根據(jù)大數(shù)據(jù)對數(shù)據(jù)處理的形式不同，介紹了批量處理系統(tǒng)和流式處理系統(tǒng)，并對大數(shù)據(jù)中的關(guān)鍵技術(shù)進行了介紹。

參考文獻

[1] 劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報：工學(xué)版，2014（06）：957-972.

篇9

一、大數(shù)據(jù)下環(huán)境審計的機會

（一）新型數(shù)據(jù)分析技術(shù)讓環(huán)境審計取證更簡便

單就資源環(huán)境審計檢查取證這方面來說，環(huán)境審計與傳統(tǒng)審計不同的是其審計程序和方法更著重于現(xiàn)場的核查，因為只有這樣才能更直觀的對資源環(huán)境狀況進行了解。同時需要環(huán)境審計人員處理大量的圖片視頻信息，工作量大且對審計數(shù)據(jù)處理以及分析的時效性提出了極大要求。然而大數(shù)據(jù)的環(huán)境下云審計平臺的出讓審計隊伍不需要直接出現(xiàn)在資源環(huán)境審計對象所在地，審計人員能利用互聯(lián)網(wǎng)計算機對云端數(shù)據(jù)進行處理和分析從而更好地實現(xiàn)勘察人員與審計人員的分工合作。另一面大數(shù)據(jù)技術(shù)不斷發(fā)展，其中的圖像識別和圖像分析技術(shù)能給環(huán)境審計人員的工作帶來極大的便利，電腦與人腦不同，其在觀看大量且極盡相似的圖片時不會感到疲憊，并且能夠找出肉眼不能識別出的細微差別并進行分析。圖像識別和圖像分析技術(shù)日益成熟，讓處理大量環(huán)境圖片和視頻也變得非常的方便。隨著大數(shù)據(jù)多媒體傳輸技術(shù)更加成熟，環(huán)境審計工作者在某些特定情況可以采用視頻傳輸?shù)姆绞讲⑼ㄟ^計算機的處理能夠更大限度的了解到現(xiàn)場的氣候資源環(huán)境的情況，審計數(shù)據(jù)的處理也更加實時性。

從環(huán)境審計相關(guān)動態(tài)數(shù)據(jù)計算方面來說，環(huán)境審計需要計算大量的審計環(huán)境績效指標數(shù)據(jù)，與環(huán)境資源審計的一些相關(guān)數(shù)據(jù)通常是動態(tài)的，需要采用大量采用定性分析與定量分析、延伸跟蹤等審計方法。在大數(shù)據(jù)環(huán)境下，計算相關(guān)環(huán)境審計績效指標時能比普通計算方式提供更具有保證的實時性，準確性和高效性。大數(shù)據(jù)技術(shù)能從海量分散并且實時變化的動態(tài)環(huán)保數(shù)據(jù)中挖掘出有價值的信息快速通過分析并獲取當(dāng)前狀況，能保證環(huán)境審計數(shù)據(jù)的時效性。

（二）全數(shù)據(jù)模式讓環(huán)境審計數(shù)據(jù)分析的工作更精準

在傳統(tǒng)環(huán)境審計工作中，由于數(shù)據(jù)的多而雜，我們一般會采用審計抽樣來分析，不可避免的就會有一定程度的抽樣風(fēng)險會存在。而大數(shù)據(jù)的環(huán)境下，“樣本=總體”的全數(shù)據(jù)模式是分析與審計對象相 關(guān)的所有數(shù)據(jù)，這讓審計工作可以建立整體到局部的審計模式。在全數(shù)據(jù)模式下開展審計數(shù)據(jù)分析，不僅能夠規(guī)避了審計抽樣風(fēng)險同時也能打破從局部推算整體的局限性，進而也保證了更加精準環(huán)境審計數(shù)據(jù)分析工作的結(jié)果；和傳統(tǒng)的的方法比起來，數(shù)據(jù)不需要進行預(yù)處理，減少了大量的工作量同時也保證了數(shù)據(jù)的原始特征，從而使得開展數(shù)據(jù)分析工作能夠具有更全面、更接近真實的洞察力。（見圖1）

二、大數(shù)據(jù)下環(huán)境審計的挑戰(zhàn)

（一）大數(shù)據(jù)對環(huán)境審計人才的挑戰(zhàn)

與傳統(tǒng)審計不同之處在于環(huán)境審計的過程中會涉及到大量的環(huán)境檢測的技術(shù)指標，而理解、掌握和運用這些技術(shù)指標需要一定的檢測裝備和高級專業(yè)技術(shù)人才，本就比傳統(tǒng)審計需要更多的復(fù)合性人才，而在大數(shù)據(jù)環(huán)境下，半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)成為了環(huán)境審計工作中數(shù)據(jù)的重要形式，且傳統(tǒng)的環(huán)境審計工作中，審計人員所面對的是結(jié)構(gòu)性數(shù)據(jù)，其掌握的也只是對傳統(tǒng)的結(jié)構(gòu)性數(shù)據(jù)分析方法。這對審計人才隊伍的建設(shè)又提出了更高的要求，為了保證審計結(jié)論的客觀性和權(quán)威性，必須擁有更多復(fù)合型的審計人才，只有這樣才能減少大數(shù)據(jù)浪潮帶來的審計風(fēng)險，才能保證環(huán)境審計工作能夠有效的搜集和鑒證。

（二）大數(shù)據(jù)對環(huán)境審計平臺的挑戰(zhàn)

1.構(gòu)建新審計信息平臺的風(fēng)險

從大數(shù)據(jù)對環(huán)境審計平臺的沖擊來看，雖然當(dāng)環(huán)境審計具有良好的信息數(shù)據(jù)平臺時，公眾則可以接觸更多透明資料，同時政府部門則可以推動自身政務(wù)工作的發(fā)展。但受到傳統(tǒng)資源環(huán)境審計觀念影響的審計工作人員，如何實現(xiàn)電子信息環(huán)境審計平臺的構(gòu)建與優(yōu)化，仍然是一個大問題，與此同時，云審計平臺的出現(xiàn)也要求環(huán)境設(shè)計工作對新的工作平臺重新作出適應(yīng)。

2.選擇大數(shù)據(jù)分析工具的風(fēng)險

環(huán)境審計在開展審計數(shù)據(jù)分析時會涉及到大數(shù)據(jù)分析的運算工具。但是，大數(shù)據(jù)分析平臺可供選擇的商家的數(shù)目多，環(huán)境審計單位如何選擇適合自己的大數(shù)據(jù)分析平臺非常重要，環(huán)境審計單位應(yīng)該結(jié)合自己的需求并分析被審計單位的情況，選擇適合自己的大數(shù)據(jù)分析平臺，可以預(yù)先對其進行應(yīng)用測試，以選擇最佳的大數(shù)據(jù)分析平臺。因為如果一旦選擇了不適用的平臺，不僅會對進一步審計工作造成困難，還會造成較高的審計風(fēng)險。

三、大數(shù)據(jù)下環(huán)境審計工作的建設(shè)

（一）加強環(huán)境審計人才隊伍建設(shè)

在大數(shù)據(jù)環(huán)境下，關(guān)于環(huán)境審計隊伍的建設(shè)，主要在于環(huán)境審計人員能否改變傳統(tǒng)的審計方式同時轉(zhuǎn)變自身傳統(tǒng)的審計意識。需要環(huán)境審計人員們能夠認識到自己在大數(shù)據(jù)環(huán)境審計中扮演的角色，融入到新的審計環(huán)境中去，其次，在環(huán)境??計單位需要強化培訓(xùn)其工作人員，同時審計人員也得有不斷學(xué)習(xí)意識，重視自身專業(yè)素養(yǎng)，不斷提高自己的工作職務(wù)勝任能力，在發(fā)展自身職業(yè)素養(yǎng)的同時也需要了解大數(shù)據(jù)相關(guān)的一些技術(shù)，環(huán)境審計隊伍應(yīng)該配備一些專業(yè)環(huán)境審計專家、計算機專家等，也為環(huán)境審計人員提供專業(yè)幫助，從而提高環(huán)境審計的工作效率，降低審計風(fēng)險。

（二）加強環(huán)境審計平臺的建設(shè)

作為大數(shù)據(jù)技術(shù)的載體―環(huán)境審計平臺。因此為了更好的在大數(shù)據(jù)環(huán)境下進行環(huán)境審計，我們必須建立合適的審計信息平臺。首先，構(gòu)建一個完整，獨立而又統(tǒng)一的信息網(wǎng)絡(luò)組織，讓其與財務(wù)系統(tǒng)、審計系統(tǒng)、環(huán)境系統(tǒng)、計算機專家系統(tǒng)等相互鏈接，保證信息渠道的暢通。其次，可以構(gòu)建一個完整的環(huán)境審計信息數(shù)據(jù)庫，保存各地搜集的環(huán)境審計信息，形成一個完整、安全的環(huán)境審計信息系統(tǒng)，再次，我們需要根據(jù)自身情況，結(jié)合環(huán)境審計單位與被審計單位的審計目標，選擇適合自己的大數(shù)據(jù)分析工具，大數(shù)據(jù)技術(shù)才能夠更好的給環(huán)境審計工作帶來便利。

篇10

【關(guān)鍵詞】電力信息技術(shù) 大數(shù)據(jù) 發(fā)展路徑

1 大數(shù)據(jù)時代背景下的電力信息行業(yè)發(fā)展情況

1.1 大數(shù)據(jù)發(fā)展面臨的背景

隨著大數(shù)據(jù)時代快速邁進，商業(yè)市場格局整體發(fā)生變化，麥肯錫公司于2011年最先使用大數(shù)據(jù)分析和研究項目，逐漸引起全社會的廣泛關(guān)注，如今已成為大多數(shù)企業(yè)的主流趨勢。針對大數(shù)據(jù)的定義不是硬性的，數(shù)據(jù)的收集通常利用網(wǎng)絡(luò)技術(shù)實現(xiàn)，集中推送操作是有目的的進行，大量隱藏數(shù)據(jù)通過數(shù)據(jù)的整理和挖掘獲得，為企業(yè)經(jīng)營管理人員的決策及執(zhí)行提供了較大的方便。

1.2 大數(shù)據(jù)時代背景下電力行業(yè)發(fā)展面臨的機遇

電力產(chǎn)業(yè)主要從三方面收集相關(guān)數(shù)據(jù)：其一是電網(wǎng)運行過程中的相關(guān)數(shù)據(jù)，以及電網(wǎng)監(jiān)測項目運行過程中的相關(guān)數(shù)據(jù)，這些數(shù)據(jù)比較復(fù)雜，不僅有報表數(shù)據(jù)，還包括一些文本信息數(shù)據(jù)，以往人工數(shù)據(jù)收集方法早已跟不上時展的步伐，而信息化技術(shù)的應(yīng)用則能夠提升信息數(shù)據(jù)利用效率，提升信息分析能力。其二是電力企業(yè)的營銷類數(shù)據(jù)，為確保電網(wǎng)銷售流程的完整性，保證電網(wǎng)結(jié)構(gòu)良好運行，既要提高數(shù)據(jù)基礎(chǔ)的穩(wěn)定性，也要確保電網(wǎng)運行的穩(wěn)定性。其三是電網(wǎng)管理方面的相關(guān)數(shù)據(jù)，這些數(shù)據(jù)是所有數(shù)據(jù)中最復(fù)雜的一部分，包括很多視頻圖像與音頻數(shù)據(jù)，企業(yè)分析數(shù)據(jù)時，科學(xué)決策要實現(xiàn)最優(yōu)化，要使管控結(jié)構(gòu)具有一定的完整性，使管理數(shù)據(jù)的實效性價值得到有效提升。應(yīng)用電力信息技術(shù)不但能夠確保數(shù)據(jù)的完整性，也能夠進一步提高企業(yè)的經(jīng)濟效益。

2 立足大數(shù)據(jù)時代背景電力信息技術(shù)的發(fā)展策略

2.1 通過大數(shù)據(jù)檢測和診斷電網(wǎng)的狀態(tài)

為實現(xiàn)管理項目安全有效的運行，一般以大數(shù)據(jù)發(fā)展為前提，采用管控措施來推動電力信息技術(shù)的運行。該區(qū)域通過設(shè)備觀測電網(wǎng)數(shù)據(jù)的采集狀態(tài)，創(chuàng)建有效的運行機制。以往設(shè)備運行時，因機制分析機制過程單一和簡單，對全局的控制和考量比較欠缺。不過，將數(shù)據(jù)融合機制與電力信息技術(shù)相互整合之后，就能夠?qū)崿F(xiàn)整合分析電網(wǎng)的實時數(shù)據(jù)，研究設(shè)備的運行信息數(shù)據(jù)，也可以甄別大量的異構(gòu)數(shù)據(jù)，使全景化觀測控制平臺更加健全和完善，可為觀測項目的創(chuàng)建提供有力的數(shù)據(jù)基礎(chǔ)。隨著大數(shù)據(jù)時代的到來，智能化電網(wǎng)的實現(xiàn)成為一種可能，下一步的發(fā)展目標就是進一步實現(xiàn)數(shù)據(jù)的管控和監(jiān)測，有效數(shù)據(jù)庫創(chuàng)建之后，充分分析和對比相關(guān)數(shù)據(jù)。

2.2 通過大數(shù)據(jù)分析和研究電能的損耗

電網(wǎng)運行時，通常利用計算機的相關(guān)功能分析系統(tǒng)的運行效率，為使數(shù)據(jù)結(jié)構(gòu)更加完整，實現(xiàn)最小化的功率損耗，可優(yōu)化配置電源，參數(shù)及負荷，使企業(yè)的經(jīng)濟效益更高。創(chuàng)建損耗控制機制過程中，通過大數(shù)據(jù)的應(yīng)用，可以確保得到準確的電能表統(tǒng)計分析結(jié)果數(shù)據(jù)，對電網(wǎng)的整體運行起到輔作用，而且，電網(wǎng)的管理人員需要進一步分析數(shù)據(jù)的完整度和準確性。再者，為確保電力企業(yè)的實際發(fā)展進程與統(tǒng)計結(jié)果相符，應(yīng)當(dāng)利用大數(shù)據(jù)計算損耗，并且標注安裝環(huán)境和測量的誤差。我們重點要關(guān)注的是，進行精確損耗計算時，電網(wǎng)管理人員應(yīng)當(dāng)利用大數(shù)據(jù)實現(xiàn)實時計算損耗，實現(xiàn)常規(guī)化運行離線計算。要以云計算項目為基礎(chǔ)，使信息采集與數(shù)據(jù)更具完整性，充分應(yīng)用大數(shù)據(jù)收集元件的運行參數(shù)。即通過大數(shù)據(jù)運行機制可有效統(tǒng)計和控制系統(tǒng)的電能損耗，既要有效踐行無損要求，也要確保高效的計算速度。積極落實大數(shù)據(jù)控制措施，實現(xiàn)企業(yè)電力信息技術(shù)運行的動態(tài)化。

2.3 通過大數(shù)據(jù)有效控制和預(yù)測負荷

電力項目運行時，管理人員應(yīng)當(dāng)分析和研究系統(tǒng)參數(shù)，因電能無法存儲，導(dǎo)致系統(tǒng)的負荷產(chǎn)生變化，整體系統(tǒng)不夠穩(wěn)定，當(dāng)系統(tǒng)的操作流程運行時，管理人員應(yīng)當(dāng)有效控制發(fā)電容量，使最大化需求得到充分的滿足，以保證低谷控制結(jié)構(gòu)的完善。針對有可能被浪費的電能，管理人員應(yīng)當(dāng)采取積極有效的管控方法，有效踐行時效性價值。再者，企業(yè)管理人員需要對發(fā)電量進行合理化調(diào)控，既要提升經(jīng)濟效益和社會效益，也要降低企業(yè)電力的運行成本。實現(xiàn)整體系統(tǒng)聚合分析機制的良好發(fā)展?？偠灾?，有效應(yīng)用大數(shù)據(jù)推送和收集技術(shù)，可以確保有效整合和分析大量的電力數(shù)據(jù)信息，使預(yù)測的準確性大大提升，保證電網(wǎng)智能調(diào)峰結(jié)構(gòu)更加完整。

2.4 應(yīng)用大數(shù)據(jù)智能預(yù)警和分析電網(wǎng)

分析系統(tǒng)時，電網(wǎng)管理人員應(yīng)當(dāng)利用管控機制監(jiān)督電網(wǎng)的整體運行情況，以確保創(chuàng)建的大數(shù)據(jù)參數(shù)結(jié)構(gòu)與實際需要相符。這些年，在應(yīng)用大數(shù)據(jù)運行框架進行分析和預(yù)警時，通常應(yīng)用預(yù)案處理機制實現(xiàn)，這個機制可以預(yù)判系統(tǒng)可能出現(xiàn)的問題，針對某些具體問題，還可創(chuàng)建完善的語境模式，既實現(xiàn)智能化網(wǎng)絡(luò)控制結(jié)構(gòu)的有效提升，也實現(xiàn)了全民網(wǎng)絡(luò)監(jiān)管水平的提升，為使電力信息技術(shù)項目參數(shù)的準確度更高，管理人員應(yīng)當(dāng)充分應(yīng)用云計算技術(shù)及大數(shù)據(jù)技術(shù)，創(chuàng)建智能化分析機制，確保整體運行框架更加完善和健全。

3 結(jié)語

綜上所述，在研究和分析電力信息技術(shù)及大數(shù)據(jù)技術(shù)時，不同的區(qū)域應(yīng)當(dāng)根據(jù)自身實際狀況，創(chuàng)建更加健全完善的管控C制，使數(shù)據(jù)的傳輸和推送更加完整，使運行策略與設(shè)計框架得到進一步優(yōu)化，實現(xiàn)標準化和規(guī)范化的數(shù)據(jù)，使共享機制的運行效率得到提升，確保數(shù)據(jù)的質(zhì)量，進一步推動電力行業(yè)的數(shù)字化發(fā)展。

參考文獻

[1]杜玉輝，蔣姣麗.大數(shù)據(jù)背景：高速公路收費系統(tǒng)數(shù)據(jù)的現(xiàn)狀、分析與展望[J].電腦知識與技術(shù)，2012（15）.

[2]王思寧.2009電力信息通信技術(shù)論壇成功舉辦[J].電力信息化，2009（12）.

[3]盧建昌，樊圍國.大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術(shù)在電力企業(yè)中的應(yīng)用[J].廣東電力，2014（09）.