導(dǎo)語(yǔ)：大數(shù)據(jù)關(guān)鍵技術(shù)在物流企業(yè)的應(yīng)用一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：物流企業(yè)在開(kāi)展物流業(yè)務(wù)時(shí)會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)若能被有效利用，將為物流企業(yè)提效增值。物流企業(yè)越來(lái)越重視大數(shù)據(jù)所帶來(lái)的商業(yè)價(jià)值，并被物流企業(yè)視為戰(zhàn)略性資源。文章分析物流企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)的價(jià)值，列舉了物流企業(yè)常用的大數(shù)據(jù)關(guān)鍵技術(shù)。

關(guān)鍵詞：大數(shù)據(jù)；大數(shù)據(jù)技術(shù)；物流

互聯(lián)網(wǎng)技術(shù)出現(xiàn)之前，物流企業(yè)主要使用一些單機(jī)版的應(yīng)用軟件來(lái)處理業(yè)務(wù)，這種應(yīng)用系統(tǒng)都比較孤立，所產(chǎn)生的數(shù)據(jù)主要是在人機(jī)交互時(shí)產(chǎn)生的，大多是物流業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)大多是結(jié)構(gòu)化的，并且增長(zhǎng)速度緩慢?；ヂ?lián)網(wǎng)技術(shù)出現(xiàn)后迅猛發(fā)展，尤其是移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，由此步入了大數(shù)據(jù)時(shí)代，物流數(shù)據(jù)的容量上發(fā)生了變化，數(shù)據(jù)來(lái)源也發(fā)生了質(zhì)的變化，除了人機(jī)交互會(huì)產(chǎn)生數(shù)據(jù)，設(shè)備、服務(wù)器、應(yīng)用系統(tǒng)都會(huì)產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)包括了用戶行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻等等，它們呈現(xiàn)幾何級(jí)增長(zhǎng)，并以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，這給數(shù)據(jù)處理技術(shù)帶來(lái)了挑戰(zhàn)。

1大數(shù)據(jù)與大數(shù)據(jù)技術(shù)

大數(shù)據(jù)也稱為海量數(shù)據(jù)，具有數(shù)據(jù)容量巨大，數(shù)據(jù)類型復(fù)雜，價(jià)值密度低等特性。大數(shù)據(jù)技術(shù)是依托云計(jì)算、云存儲(chǔ)和虛擬化等技術(shù)，從海量的、種類繁雜的數(shù)據(jù)當(dāng)中，采用分布式計(jì)算架構(gòu)，讓用戶在最短時(shí)間內(nèi)獲取有用的信息技術(shù)。大數(shù)據(jù)技術(shù)是對(duì)各類數(shù)據(jù)進(jìn)行整理、分析、比對(duì)，對(duì)數(shù)據(jù)進(jìn)行深度挖掘，這包括了提取非結(jié)構(gòu)化數(shù)據(jù)的特征，檢索、理解半結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容等。大數(shù)據(jù)技術(shù)現(xiàn)已成為信息時(shí)代的一大新興產(chǎn)業(yè)，并引起了社會(huì)各界的高度關(guān)注，成為大數(shù)據(jù)采集、存儲(chǔ)、處理和呈現(xiàn)的有力工具，主要運(yùn)用在大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)可視化、大數(shù)據(jù)檢索、大數(shù)據(jù)安全等）等方面[1]。

2物流企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)的價(jià)值分析

物流各個(gè)環(huán)節(jié)，如運(yùn)輸、倉(cāng)儲(chǔ)、裝卸、搬運(yùn)、包裝及流通加工等，會(huì)產(chǎn)生大量的數(shù)據(jù)。物流大數(shù)據(jù)，是指物流活動(dòng)過(guò)程中，開(kāi)展如供給、需求等物流服務(wù)時(shí)產(chǎn)生的各種相關(guān)數(shù)據(jù)，而這些數(shù)據(jù)是海量的、無(wú)序的。如今，物流企業(yè)越來(lái)越重視大數(shù)據(jù)所帶來(lái)的商業(yè)價(jià)值，并被物流企業(yè)視為戰(zhàn)略性資源。物流大數(shù)據(jù)本身不存在價(jià)值，但通過(guò)對(duì)物流大數(shù)據(jù)分析并應(yīng)用，就能體現(xiàn)出其價(jià)值所在。掌握大數(shù)據(jù)，挖掘大數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)，能夠產(chǎn)生大量的商業(yè)價(jià)值，這一觀點(diǎn)已經(jīng)被整個(gè)物流行業(yè)所認(rèn)同。2.1有利于物流企業(yè)提高管理效率。長(zhǎng)期以來(lái)，物流管理上還是存在很多問(wèn)題，例如倉(cāng)儲(chǔ)運(yùn)輸中空間利用不科學(xué)、安全性差、燃油效率低下、周轉(zhuǎn)時(shí)間隨路徑而浮動(dòng)等。物流企業(yè)對(duì)數(shù)據(jù)處理的水平比較低。原有的傳統(tǒng)的數(shù)據(jù)處理方式如數(shù)據(jù)收集、加工、存儲(chǔ)和傳輸已經(jīng)不適應(yīng)物流企業(yè)對(duì)數(shù)據(jù)管理的需求。而大數(shù)據(jù)技術(shù)可以有效地解決這些問(wèn)題，它能更好地收集、整合、分析和處理數(shù)據(jù)，數(shù)據(jù)融合性更好，零亂雜散的數(shù)據(jù)變得系統(tǒng)和有序，以提升物流數(shù)據(jù)的價(jià)值。例如實(shí)現(xiàn)合理布局倉(cāng)儲(chǔ)運(yùn)輸?shù)目臻g，能最優(yōu)和最短選擇好物流運(yùn)輸行程路徑。2.2有利于物流企業(yè)做出正確的決策。物流企業(yè)的決策主要包括三個(gè)方面，即合作與競(jìng)爭(zhēng)的決策、供需匹配的決策、資源配置的決策。傳統(tǒng)的物流決策是根據(jù)個(gè)人經(jīng)驗(yàn)，結(jié)合市場(chǎng)調(diào)研而制定的，這種決策方式已不能適應(yīng)如今的信息化時(shí)代。實(shí)際上，單憑市場(chǎng)調(diào)研、個(gè)人經(jīng)驗(yàn)是無(wú)法預(yù)測(cè)物流市場(chǎng)的需求變化，真實(shí)的、海量的物流市場(chǎng)原始數(shù)據(jù)才是做出科學(xué)決策的依據(jù)。物流企業(yè)通過(guò)運(yùn)用大數(shù)據(jù)技術(shù)對(duì)市場(chǎng)的原始數(shù)據(jù)進(jìn)行收集、分析、處理，可以全面地、深層次地了解到合作者（或者競(jìng)爭(zhēng)對(duì)手）的真實(shí)情況，從而做出合作（或競(jìng)爭(zhēng)）的判斷；對(duì)特定區(qū)域、特定時(shí)期的物流供需情況進(jìn)行分析，從而做出合理的配送管理決策；實(shí)時(shí)監(jiān)測(cè)市場(chǎng)變化，從動(dòng)態(tài)性和隨機(jī)性的數(shù)據(jù)中提取當(dāng)前的物流需求信息，同時(shí)對(duì)已配置和將要配置的資源進(jìn)行優(yōu)化，做出合理的資源配置決策，從而實(shí)現(xiàn)對(duì)物流資源的合理利用[2]。2.3有利于建立良好的客戶關(guān)系。傳統(tǒng)的客戶關(guān)系數(shù)據(jù)一般來(lái)源于企業(yè)的客戶管理系統(tǒng)，或是日常的積累，信息接收方式單一，這樣的數(shù)據(jù)容量有限，更新滯后，客戶的需求得不到實(shí)時(shí)跟蹤，也達(dá)不到及時(shí)滿足。隨著互聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，客戶對(duì)物流的評(píng)價(jià)與反饋、需求等信息可能會(huì)出現(xiàn)在QQ簽名、微信朋友圈，微博日志里，呈現(xiàn)的形式也是多種多樣，可能是文字，可能是圖片，也可能是語(yǔ)音，還可能是視頻。物流企業(yè)運(yùn)用大數(shù)據(jù)技術(shù)可以從這些大量的數(shù)據(jù)源中篩選、提取有用的信息，并對(duì)這些數(shù)據(jù)進(jìn)行加工、處理、整合，形成有利于物流企業(yè)進(jìn)行客戶管理的數(shù)據(jù)，從而有效減少了客戶投訴，服務(wù)變被動(dòng)為主動(dòng)，通過(guò)對(duì)新老用戶的大數(shù)據(jù)挖掘和分析，可以滿足客戶需求，增強(qiáng)客戶信用度，培養(yǎng)客戶粘性，減少客戶流失。

3物流企業(yè)應(yīng)用大數(shù)據(jù)關(guān)鍵技術(shù)的狀況

按照對(duì)大數(shù)據(jù)的處理流程來(lái)說(shuō)，物流企業(yè)主要應(yīng)用的大數(shù)據(jù)關(guān)鍵技術(shù)包括了大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)前期處理技術(shù)、大數(shù)據(jù)存儲(chǔ)技術(shù)和大數(shù)據(jù)分析挖掘技術(shù)。3.1大數(shù)據(jù)采集技術(shù)在物流企業(yè)中的應(yīng)用。物流企業(yè)經(jīng)常遇到這樣的問(wèn)題：大量用戶并發(fā)訪問(wèn)和操作，產(chǎn)生了海量的數(shù)據(jù)，包括了RFID射頻數(shù)據(jù)、海量網(wǎng)絡(luò)數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等，而這些海量數(shù)據(jù)呈現(xiàn)的方式不同，有結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的，在數(shù)據(jù)采集上存在困難。為此，這可以采用如下大數(shù)據(jù)采集技術(shù)來(lái)解決。1）數(shù)據(jù)庫(kù)采集。使用MySQL和Oracle等工具來(lái)管理數(shù)據(jù)，同時(shí)利用Sqoop和結(jié)構(gòu)化數(shù)據(jù)庫(kù)間的ETL工具，開(kāi)源的Kettle和Talend也集成大數(shù)據(jù)內(nèi)容，和hdfs、hbase及其它主流數(shù)據(jù)庫(kù)之間實(shí)現(xiàn)數(shù)據(jù)同步。2）移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)采集。借助網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi)API等方式，實(shí)現(xiàn)有效地對(duì)移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的采集。主要方式是從網(wǎng)絡(luò)上獲取數(shù)據(jù)和信息，有效提取移動(dòng)互聯(lián)網(wǎng)上大數(shù)據(jù)，使移動(dòng)互聯(lián)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)通過(guò)加工，變?yōu)榻Y(jié)構(gòu)化的有序數(shù)據(jù)，并將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件。3）數(shù)據(jù)文件采集。進(jìn)行實(shí)時(shí)的文件采集和處理有多種方式。Flume是Cloudera公司提供的一個(gè)日志采集、聚合和傳輸?shù)南到y(tǒng)，具有高可用性，高可靠性等特點(diǎn)。ELK是Elastic-search、Logstash、Kibana三者的組合技術(shù)，能實(shí)現(xiàn)日志數(shù)據(jù)處理，通過(guò)模板配置，以實(shí)現(xiàn)文件采集[3]。3.2大數(shù)據(jù)前期處理技術(shù)在物流企業(yè)中的應(yīng)用。采集物流原始數(shù)據(jù)后，必須對(duì)其進(jìn)行前期處理，客戶和貨物數(shù)據(jù)的前期處理工作尤為重要。物流數(shù)據(jù)前期處理主要涉及到對(duì)物流原始數(shù)據(jù)的清理、填補(bǔ)、集成、合并、規(guī)格化和一致性等，使雜亂無(wú)章的數(shù)據(jù)有序化，經(jīng)處理后的數(shù)據(jù)結(jié)構(gòu)相對(duì)單一，以便于處理，為后期物流數(shù)據(jù)分析創(chuàng)造條件。1）物流數(shù)據(jù)清理。ETL和Potter'sWheel是物流數(shù)據(jù)清理的主要工具。ETL和Potter'sWheel能有效實(shí)現(xiàn)對(duì)組內(nèi)的數(shù)據(jù)處理，如物流大數(shù)據(jù)平滑處理、聚類、計(jì)算機(jī)人工檢查和回歸等方法，并且能去除噪音，以解決數(shù)據(jù)遺漏問(wèn)題。2）物流數(shù)據(jù)集成。原始物流數(shù)據(jù)是雜亂和零散的，通過(guò)物流數(shù)據(jù)集成可以將其結(jié)構(gòu)化、有序化。具體做法是將物流數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行合并，以存放到一個(gè)結(jié)構(gòu)統(tǒng)一的數(shù)據(jù)庫(kù)中。數(shù)據(jù)冗余、模式匹配、數(shù)據(jù)值沖突檢測(cè)與處理是必須解決的問(wèn)題。3）物流數(shù)據(jù)變換。物流數(shù)據(jù)轉(zhuǎn)換分為兩種，即數(shù)據(jù)格式及名稱的統(tǒng)一和數(shù)據(jù)處理。其中，數(shù)據(jù)格式及名稱的統(tǒng)一包括了對(duì)數(shù)據(jù)粒度轉(zhuǎn)數(shù)據(jù)格式、計(jì)量單位、商務(wù)計(jì)算和標(biāo)準(zhǔn)命名等；數(shù)據(jù)處理是通過(guò)數(shù)據(jù)庫(kù)字段分割計(jì)算或組合，以解決數(shù)據(jù)冗余問(wèn)題。3.3大數(shù)據(jù)存儲(chǔ)技術(shù)在物流企業(yè)中的應(yīng)用。MPP架構(gòu)的數(shù)據(jù)庫(kù)集群、Hadoop技術(shù)擴(kuò)展和封裝、大數(shù)據(jù)一體機(jī)是最典型的三種大數(shù)據(jù)存儲(chǔ)技術(shù)。1）采用數(shù)據(jù)庫(kù)集群MPP架構(gòu)。MPP(MassivelyParallelProcessing，即大規(guī)模并行處理)，MPP是將任務(wù)并行的分散到多個(gè)服務(wù)器和節(jié)點(diǎn)上，再匯總在每個(gè)節(jié)點(diǎn)上計(jì)算完成后的結(jié)果，形成最終結(jié)果。主要面向物流行業(yè)大數(shù)據(jù)，采用MPP架構(gòu)來(lái)建立數(shù)據(jù)庫(kù)集群，采用SharedNothing架構(gòu)，利用多種大數(shù)據(jù)處理技術(shù)，如粗粒度索引、列存儲(chǔ)等，然后結(jié)合分布式計(jì)算，以完成對(duì)分析類應(yīng)用的支撐。2）利用Hadoop技術(shù)進(jìn)行擴(kuò)展和封裝。Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)。HDFS和MapReduce是Hadoop的核心的設(shè)計(jì)，它們分別提供了存儲(chǔ)和計(jì)算的支持，其中，HDFS為海量的物流數(shù)據(jù)的存儲(chǔ)提供支持，而MapReduce則為海量的物流數(shù)據(jù)的計(jì)算提供支持。通過(guò)擴(kuò)展和封裝的Hadoop技術(shù)來(lái)實(shí)現(xiàn)對(duì)物流大數(shù)據(jù)存儲(chǔ)、分析的支撐。3）大數(shù)據(jù)一體機(jī)。大數(shù)據(jù)一體機(jī)是物流大數(shù)據(jù)分析處理的理想產(chǎn)品，是硬件和軟件結(jié)合的產(chǎn)品。硬件包括服務(wù)器、存儲(chǔ)設(shè)備等；軟件是由數(shù)據(jù)庫(kù)管理系統(tǒng)和用于數(shù)據(jù)查詢、處理、分析的軟件組成的。大數(shù)據(jù)一體機(jī)性能好，處理能力強(qiáng)，且具有良好的穩(wěn)定性和縱向擴(kuò)展性。3.4大數(shù)據(jù)分析挖掘技術(shù)在物流企業(yè)中的應(yīng)用。以物流車貨匹配平臺(tái)為例，車輛在進(jìn)行物流運(yùn)輸過(guò)程中，會(huì)產(chǎn)生海量大數(shù)據(jù)，如車輛特征、發(fā)車時(shí)間、停車時(shí)間、行駛距離、地理位置等。通過(guò)統(tǒng)計(jì)、分析這些數(shù)據(jù)，可以發(fā)現(xiàn)貨運(yùn)車輛的行為特征，獲取區(qū)域物流的流量分布，甚至掌握社會(huì)經(jīng)濟(jì)發(fā)展動(dòng)態(tài)的信息。這為物流企業(yè)開(kāi)展車輛調(diào)度提供了可靠的理論依據(jù)和技術(shù)支持，能使物流企業(yè)在時(shí)間、成本、路線方面做出科學(xué)決策，從而提高了物流企業(yè)貨運(yùn)效率。1）物流數(shù)據(jù)可視化分析。數(shù)據(jù)可視化的直觀和有效方式是將數(shù)據(jù)圖形化。物流數(shù)據(jù)種類繁雜、數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一，物流企業(yè)借助可視化數(shù)據(jù)分析平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，構(gòu)建物流數(shù)據(jù)分析圖表，使數(shù)據(jù)在展示方面簡(jiǎn)單明了、清晰直觀，更易于接受。2）數(shù)據(jù)挖掘算法。數(shù)據(jù)分析與數(shù)據(jù)挖掘算法息息相關(guān)。數(shù)據(jù)挖掘算法的基礎(chǔ)是數(shù)據(jù)挖掘模型。物流企業(yè)可以通過(guò)數(shù)據(jù)收集分析和整理，創(chuàng)建挖掘模型的最佳參數(shù)，將這些參數(shù)應(yīng)用于整個(gè)數(shù)據(jù)模型以便提取可行模式和詳細(xì)統(tǒng)計(jì)信息[4]。3）預(yù)測(cè)性分析?？蛻粜枨?、物流行業(yè)發(fā)展趨勢(shì)的預(yù)測(cè)對(duì)物流企業(yè)而言是很重要的。大數(shù)據(jù)分析主要是統(tǒng)計(jì)分析、預(yù)測(cè)建模、數(shù)據(jù)挖掘、實(shí)體分析、實(shí)時(shí)評(píng)分、文本分析和機(jī)器學(xué)習(xí)等，從雜亂的數(shù)據(jù)中找出有規(guī)律性的特征，以預(yù)測(cè)其發(fā)展的趨勢(shì)和方式，為物流企業(yè)的決策提供決策。4）語(yǔ)義引擎。對(duì)已有的數(shù)據(jù)進(jìn)行語(yǔ)義解釋即是語(yǔ)義引擎。其實(shí)質(zhì)是將現(xiàn)有結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)庫(kù)進(jìn)行語(yǔ)義注解。它直接的應(yīng)用是可以將人們從復(fù)雜的搜索條目中解放出來(lái)，讓用戶能更有效地使用信息。用戶能更快、更準(zhǔn)、更全地獲得所需信息，以提高用戶的互聯(lián)網(wǎng)體驗(yàn)。

參考文獻(xiàn)：

[1]馬建光，姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用[J].國(guó)防科技，2013，34(2)：10-17.

[2]彭小圣，鄧迪元，程時(shí)杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015，35(3)：503-511.

[3]MPP(大規(guī)模并行處理)簡(jiǎn)介[EB/OL].https://blog.csdn.net/qq_42189083/article/details/80610092,2018-06-07.

[4]javastart.這才是真正的物流大數(shù)據(jù)挖掘思路[EB/OL].https://blog.csdn.net/javastart/article/details/50895409,2016-07-07.

作者:單位:湖南財(cái)經(jīng)工業(yè)職業(yè)技術(shù)學(xué)院