導(dǎo)語：大數(shù)據(jù)技術(shù)證券行業(yè)分析一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：大數(shù)據(jù)技術(shù)是證券行業(yè)主要研究的科技創(chuàng)新方向之一，文章對大數(shù)據(jù)技術(shù)在國內(nèi)證券行業(yè)的研究現(xiàn)狀進行介紹，并對大數(shù)據(jù)技術(shù)研究方向進行劃分，對建設(shè)大數(shù)據(jù)平臺面臨的困難進行分析，對平臺框架構(gòu)建進行了深入介紹。從而可以使證券公司結(jié)合情況，選擇最適用于自己的大數(shù)據(jù)技術(shù)策略，并提高困難解決能力，構(gòu)建出適用自己的大數(shù)據(jù)技術(shù)框架。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；證券行業(yè)；大數(shù)據(jù)技術(shù)框架

近幾年在金融行業(yè)，“金融科技”、“監(jiān)管科技”等詞匯總是會被人們頻繁提起，這是因為科技對證券行業(yè)的服務(wù)模式起到了極為深刻的變革創(chuàng)新。隨著金融科技中的新興技術(shù)的蓬勃發(fā)展，證券行業(yè)如何正確使用這類新興技術(shù)，如何將自身發(fā)展同這類技術(shù)綁定，這些問題都留給了證券行業(yè)很多的選擇。

1大數(shù)據(jù)技術(shù)的國內(nèi)現(xiàn)狀

隨著大數(shù)據(jù)技術(shù)進入國內(nèi)的證券行業(yè)，越來越多的證券公司都開始覺察到大數(shù)據(jù)的價值，逐漸開始啟動大數(shù)據(jù)的相關(guān)研究和分析工作，試圖通過大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的實際價值。現(xiàn)介紹三則證券公司的使用實例。交易日志監(jiān)控分析系統(tǒng)，是包含了手機端和網(wǎng)頁端日志的存儲，并對服務(wù)器性能，用戶交易行為和支撐系統(tǒng)運營狀況進行監(jiān)控分析。交易日志監(jiān)控分析系統(tǒng)支持海量的日志存儲和分析，提高了現(xiàn)有系統(tǒng)的管理和運營水平。異常交易預(yù)警系統(tǒng)是基于大數(shù)據(jù)平臺中的相關(guān)用戶信息，對異常交易行為進行提前預(yù)警，比如高買低賣利益?zhèn)魉皖A(yù)警，長期閑置賬戶頻繁異動預(yù)警，大量委托查詢請求預(yù)警等?？蛻舢嬒裣到y(tǒng)是將通過自由源數(shù)據(jù)和第三方數(shù)據(jù)收集的客戶信息傳送到大數(shù)據(jù)平臺中，對數(shù)據(jù)進行計算后將結(jié)果放入到用戶畫像系統(tǒng)和模型管理系統(tǒng)中，得到的最終輸出結(jié)果作為業(yè)務(wù)應(yīng)用。用戶畫像系統(tǒng)是對客戶進行計算分析后，添加各類描述標(biāo)簽，構(gòu)建出一個嚴(yán)格的標(biāo)簽體系，并把結(jié)果推送給業(yè)務(wù)進行使用。畫像系統(tǒng)和模型系統(tǒng)得到的最終分析結(jié)果，可以一起發(fā)送給上層應(yīng)用，實現(xiàn)金融產(chǎn)品推薦，精準(zhǔn)廣告投放，線下客服溝通，風(fēng)險防控等服務(wù)。

2大數(shù)據(jù)平臺的構(gòu)建

2.1大數(shù)據(jù)技術(shù)的分類劃分。針對大數(shù)據(jù)技術(shù)的數(shù)據(jù)實時性特點和計算復(fù)雜程度的特征，可以對大數(shù)據(jù)技術(shù)的使用情況進行復(fù)雜程度和實時性分類，根據(jù)這樣的劃分，得以結(jié)合證券公司本身的研發(fā)特點和實力，制定出相應(yīng)的研發(fā)方向，建立起自身的競爭優(yōu)勢。研發(fā)的方向可以歸納為四個類型——描述型、診斷型、預(yù)測型和指導(dǎo)型。傳統(tǒng)企業(yè)都比較擅長使用描述型數(shù)據(jù)和診斷型數(shù)據(jù)，所以真正把數(shù)據(jù)運用得當(dāng)，取決于預(yù)測型數(shù)據(jù)和指導(dǎo)型數(shù)據(jù)的使用。描述型數(shù)據(jù)主要體現(xiàn)在報表類業(yè)務(wù)，其讓事件反映的具體、清晰；診斷型數(shù)據(jù)是針對所出現(xiàn)的問題進行判斷分析，比如根據(jù)財務(wù)數(shù)據(jù)的指標(biāo)，發(fā)現(xiàn)企業(yè)的財務(wù)運行情況等；預(yù)測型數(shù)據(jù)是由數(shù)據(jù)來預(yù)測將來事物發(fā)展的趨勢，可以提前發(fā)現(xiàn)事物的潛在問題再進行糾正，也可以預(yù)測行情變換進行投資交易獲利；指導(dǎo)型數(shù)據(jù)可以根據(jù)客戶的行為習(xí)慣來挖掘客戶的潛在需求，幫助證券公司做出更好的產(chǎn)品或者對應(yīng)服務(wù)，指定針對性營銷方案從而獲得更好的投資回報。2.2大數(shù)據(jù)平臺構(gòu)建的困難。證券公司在構(gòu)建真正的大數(shù)據(jù)平臺時，應(yīng)該結(jié)合自身的實際情況，分析將要面臨的困難挑戰(zhàn)。證券公司所面臨的困難可以分為五大方面，分別是：性能、海量、實時、精準(zhǔn)、共享。性能問題是指客觀硬件上性能不足，導(dǎo)致數(shù)據(jù)運行時間長，復(fù)雜查詢或者過高頻率的并發(fā)查詢的效果過差。海量問題是客觀存在的多樣性大量數(shù)據(jù)所導(dǎo)致的問題，這是因為數(shù)據(jù)的格式過于多樣，而承載數(shù)據(jù)量總是有限的，不可能存儲全部的海量數(shù)據(jù)。實時性是指獲取和處理數(shù)據(jù)的能力，實時性的局限會對實施事件、動態(tài)營銷、智能服務(wù)等造成影響。精準(zhǔn)性困難是指缺乏對投資者資產(chǎn)臺賬清算的思維，僅僅依靠傳統(tǒng)的技術(shù)手段是無法全面掌握客戶的需求和偏好。共享性困難是指數(shù)據(jù)難以提取和使用，訪問的方式過于單一，對不同業(yè)務(wù)系統(tǒng)或者專項統(tǒng)一數(shù)據(jù)的支撐能力的有限性。在面對這些數(shù)據(jù)的同時，應(yīng)該以數(shù)據(jù)為起點，應(yīng)用為核心，而整個過程是重復(fù)著“去解決數(shù)據(jù)問題”和“數(shù)據(jù)去解決問題”的反饋機制，在這個機制中，證券公司應(yīng)該不斷加強數(shù)據(jù)應(yīng)用能力、數(shù)據(jù)運算能力和數(shù)據(jù)融合能力。2.3大數(shù)據(jù)平臺框架構(gòu)建。大數(shù)據(jù)平臺的總體框架是由平臺、引擎和行業(yè)數(shù)據(jù)模型三者構(gòu)建。其中平臺包含數(shù)據(jù)整合平臺（ETL工具集）、數(shù)據(jù)管控平臺（數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、運維監(jiān)控）和數(shù)據(jù)服務(wù)平臺（數(shù)據(jù)資源管理、數(shù)據(jù)服務(wù)總線、安全監(jiān)控等）；數(shù)據(jù)流引擎包含計算引擎和數(shù)據(jù)流引擎；最后的模塊是行業(yè)數(shù)據(jù)模型。如下將對個組成模塊進行講解。數(shù)據(jù)整合平臺需要采取不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，平臺為了適應(yīng)據(jù)中心多類型數(shù)據(jù)源采集的需要，需要支持多種類型的數(shù)據(jù)采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息隊列接口(點對點模式、與訂閱模式、實時消息隊列)、API接口（接口封裝技術(shù)、API多調(diào)用方式、API可擴展設(shè)計）、和FTP/SFTP接口（接口信息配置、采集觸發(fā)設(shè)置、裝載規(guī)則設(shè)置）等。數(shù)據(jù)管控平臺是對數(shù)據(jù)質(zhì)量或者系統(tǒng)運行進行監(jiān)控。在運維監(jiān)控功能上，主要分析ETL日歷、數(shù)據(jù)分布、變化趨勢、存儲情況和大表；元數(shù)據(jù)管理上針對的是數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)、調(diào)度關(guān)系、數(shù)據(jù)表登記和映射；元數(shù)據(jù)分析包含了血統(tǒng)分析、影響分析等；數(shù)據(jù)質(zhì)量管理是針對數(shù)據(jù)監(jiān)控報告、閥值檢測、字典異動、清洗結(jié)果和檢測配置管理等；系統(tǒng)管理則是對系統(tǒng)參數(shù)和系統(tǒng)資源進行統(tǒng)一管理。數(shù)據(jù)服務(wù)平臺的定位是為數(shù)據(jù)服務(wù)的提供開發(fā)能力和數(shù)據(jù)支持，并且提供滿足證券公司內(nèi)外部客戶需求的能力。平臺需要對服務(wù)進行監(jiān)控和管理，保證數(shù)據(jù)的安全。服務(wù)監(jiān)控是要對配合進行控制、對流量進行控制、對日志進行控制；服務(wù)管理，是要做好服務(wù)的、服務(wù)編排、服務(wù)目錄管理和服務(wù)結(jié)算；在數(shù)據(jù)安全方面，要對數(shù)據(jù)進行脫敏處理，對數(shù)據(jù)進行加密，保證接入安全，事后進行審計。數(shù)據(jù)服務(wù)平臺的構(gòu)建，首先是對大數(shù)據(jù)進行存儲，并且分配好數(shù)據(jù)服務(wù)層、功能服務(wù)層和基礎(chǔ)服務(wù)層[1]。數(shù)據(jù)服務(wù)層包含了業(yè)務(wù)數(shù)據(jù)、客戶數(shù)據(jù)、風(fēng)險數(shù)據(jù)、產(chǎn)品資源數(shù)據(jù)、渠道解除數(shù)據(jù)等；功能服務(wù)層，包含了分析服務(wù)、展示服務(wù)、日志服務(wù)、事件通知服務(wù)、數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)處理服務(wù)、數(shù)據(jù)交換服務(wù)等；基礎(chǔ)服務(wù)層包含了位置服務(wù)、用戶畫像服務(wù)、價值洞察服務(wù)等等。服務(wù)開放總線提供對業(yè)務(wù)的支持，總線需要滿足接入功能（HTTP、JDBC、消息等）、路由功能（服務(wù)查找、服務(wù)路由）、負(fù)載功能（負(fù)載均衡、服務(wù)緩存）和適配功能（SQL、MR、Hbase等）。計算引擎需要實現(xiàn)的目標(biāo)是精益化計算，對多年沉淀積累的行業(yè)數(shù)據(jù)進行計算。計算引擎可自行定義運算流程，使用豐富的運算組件并靈活調(diào)度，達到流程節(jié)點可視化，整個流程達到可調(diào)可用可改。同時也要求計算引擎實現(xiàn)多模式計算，根據(jù)業(yè)務(wù)設(shè)計運算模式，支持復(fù)雜業(yè)務(wù)的定義，達到隨時可用，隨時可取的要求，并且全面支持基礎(chǔ)業(yè)務(wù)組件。計算引擎是由分析引擎、批量計算引擎和實時計算引擎三者構(gòu)建，其中分析引擎主要含有MPP組、OLAP、Smlib和ES；批量計算引擎有Spark等；實時計算引擎有SparkStreaming和Rddis組成。數(shù)據(jù)流引擎的流程是從組建涉及、流程設(shè)計、作業(yè)管理到作業(yè)日志進行分部處理。行業(yè)數(shù)據(jù)模型按照數(shù)據(jù)倉庫模型的層次劃分，依次分為業(yè)務(wù)建模、領(lǐng)域建模、邏輯建模和物理建模。業(yè)務(wù)建模中的模型為業(yè)務(wù)模型，將業(yè)務(wù)層面的分解和程序化；領(lǐng)域建模中的模型為領(lǐng)域模型，是對業(yè)務(wù)模型進行抽象處理，生成領(lǐng)域模型；邏輯建模中的模型為邏輯模型，是將領(lǐng)域模型的概念實體以及實體之間的關(guān)系進行數(shù)據(jù)庫層次的邏輯化。物理建模中的模型為物理模型，解決邏輯模型針對不同關(guān)系型數(shù)據(jù)庫的物理化，以及服務(wù)器性能等具體的技術(shù)問題[2]。構(gòu)建一個完整的行業(yè)數(shù)據(jù)模型，需要對業(yè)務(wù)進行全面梳理，對業(yè)務(wù)流程加以改進。要建立全方位的數(shù)據(jù)視角，消滅信息孤島和數(shù)據(jù)差異，致力于解決業(yè)務(wù)的變動性和數(shù)據(jù)倉庫的靈活性帶來的問題，幫助數(shù)據(jù)倉庫系統(tǒng)進行自我建設(shè)。

3結(jié)語

本文對大數(shù)據(jù)技術(shù)的分析和框架搭建的介紹和建議，可以在證券行業(yè)進行大數(shù)據(jù)技術(shù)實踐中得以學(xué)習(xí)借鑒和技術(shù)參考，為企業(yè)提供更多的創(chuàng)新思路，得以結(jié)合證券企業(yè)自身情況和特點找到符合公司本身的發(fā)展之路。相信本文可以對證券行業(yè)進行大數(shù)據(jù)技術(shù)探索的工程師，學(xué)數(shù)據(jù)技術(shù)的愛好者起到良好的指導(dǎo)作用，也對證券公司如何進行金融創(chuàng)新變革有著很好的方向指引意義。

參考文獻：

[1]馬彥圖.云計算技術(shù)在農(nóng)業(yè)信息共享服務(wù)平臺中的應(yīng)用[J].西安工程大學(xué)學(xué)報,2016(4):494-497

[2]賀曉鋒.基于Teradata的銀行數(shù)據(jù)倉庫模型研究與優(yōu)化[D].軟件工程,2008.

作者:徐天譽 單位:南京證券股份有限公司