中國大數(shù)據(jù)行業(yè)分析與展望

——呂天文

    一、大數(shù)據(jù)市場規(guī)模與特征分析

    大數(shù)據(jù)產(chǎn)業(yè)是指對互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、運營商等渠道產(chǎn)生的大量數(shù)據(jù)資源進(jìn)行快速獲取、收集存儲、價值提煉、智能處理和分發(fā)，從而用于企業(yè)決策支持等方面的信息服務(wù)業(yè)。

    大數(shù)據(jù)全生命周期可以劃分為”數(shù)據(jù)產(chǎn)生--數(shù)據(jù)采集--數(shù)據(jù)傳輸--數(shù)據(jù)存儲--數(shù)據(jù)處理--數(shù)據(jù)分析--數(shù)據(jù)發(fā)布、展示和應(yīng)用--產(chǎn)生新數(shù)據(jù)”等階段。因此，大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括數(shù)據(jù)源層、數(shù)據(jù)存儲平臺層、數(shù)據(jù)分析和挖掘?qū)右约按髷?shù)據(jù)應(yīng)用層。大數(shù)據(jù)應(yīng)用層主要分布在互聯(lián)網(wǎng)、電信、金融、零售和政府等行業(yè)，和企業(yè)用戶的業(yè)務(wù)更加結(jié)合得緊密，通過大數(shù)據(jù)分析實現(xiàn)商業(yè)智能(BI)、決策支持和用戶需求挖掘等應(yīng)用價值。

圖1 大數(shù)據(jù)產(chǎn)業(yè)鏈分析

數(shù)據(jù)來源: ICTresearch

    由于中國互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模和移動終端數(shù)量的快速增長，業(yè)務(wù)數(shù)據(jù)和交互信息的爆炸式增長，中國大數(shù)據(jù)應(yīng)用開始進(jìn)入發(fā)展元年，應(yīng)用市場規(guī)模增長提速。根據(jù)ICTresearch的研究顯示，2012年，中國大數(shù)據(jù)應(yīng)用市場規(guī)模為4.5億元，同比增長40.6%。

    表1 2010-2012年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長

數(shù)據(jù)來源: ICTresearch

圖2 2010-2012年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長

數(shù)據(jù)來源: ICTresearch

    二、當(dāng)前大數(shù)據(jù)相關(guān)政策分析

    大數(shù)據(jù)是一個具有國家戰(zhàn)略意義的新興產(chǎn)業(yè)，正受到政府的高度關(guān)注。2012年5月，國務(wù)院頒發(fā)了《”十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》，提出高端軟件和新興信息服務(wù)產(chǎn)業(yè)發(fā)展目標(biāo)：加強以網(wǎng)絡(luò)化操作系統(tǒng)、海量數(shù)據(jù)處理軟件等為代表的基礎(chǔ)軟件、云計算軟件、工業(yè)軟件、智能終端軟件、信息安全軟件等關(guān)鍵軟件的開發(fā)，推動大型信息資源庫建設(shè)，積極培育云計算服務(wù)、電子商務(wù)服務(wù)等新興服務(wù)業(yè)態(tài)，促進(jìn)信息系統(tǒng)集成服務(wù)向產(chǎn)業(yè)鏈前后端延伸，推進(jìn)網(wǎng)絡(luò)信息服務(wù)體系變革轉(zhuǎn)型和信息服務(wù)的普及，利用信息技術(shù)發(fā)展數(shù)字內(nèi)容產(chǎn)業(yè)，提升文化創(chuàng)意產(chǎn)業(yè)，促進(jìn)信息化與工業(yè)化的深度融合。在關(guān)鍵技術(shù)開發(fā)方面，開展移動智能終端軟件、網(wǎng)絡(luò)化計算平臺與支撐軟件、智能海量數(shù)據(jù)處理相關(guān)軟件研發(fā)和產(chǎn)業(yè)化。

    2012年2月，工信部發(fā)布《物聯(lián)網(wǎng)”十二五”發(fā)展規(guī)劃》，把“加強處理技術(shù)研究”作為核心技術(shù)攻關(guān)之一，提出：重點支持適用于物聯(lián)網(wǎng)的海量信息存儲和處理，以及數(shù)據(jù)挖掘、圖像視頻智能分析等技術(shù)的研究，支持?jǐn)?shù)據(jù)庫、系統(tǒng)軟件、中間件等技術(shù)的開發(fā)，推動軟硬件操作界面基礎(chǔ)軟件的研究。將“信息處理技術(shù)”列為四項關(guān)鍵技術(shù)創(chuàng)新工程之一，包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析。另外三項關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，與大數(shù)據(jù)產(chǎn)業(yè)發(fā)展密切相關(guān)。

    2013年，國務(wù)院發(fā)布《關(guān)于推進(jìn)物聯(lián)網(wǎng)有序健康發(fā)展的指導(dǎo)意見》，提出加快傳感器網(wǎng)絡(luò)、智能終端、大數(shù)據(jù)處理、智能分析、服務(wù)集成等關(guān)鍵技術(shù)研發(fā)創(chuàng)新，推進(jìn)物聯(lián)網(wǎng)與新一代移動通信、云計算、下一代互聯(lián)網(wǎng)、衛(wèi)星通信等技術(shù)的融合發(fā)展。重視信息資源的智能分析和綜合利用，避免重數(shù)據(jù)采集、輕數(shù)據(jù)處理和綜合應(yīng)用。

    自2012年，國家已經(jīng)陸續(xù)出臺了與大數(shù)據(jù)應(yīng)用相關(guān)的產(chǎn)業(yè)規(guī)劃和政策，從不同側(cè)面在推動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。然而，專門針對大數(shù)據(jù)發(fā)展尤其是基于互聯(lián)網(wǎng)應(yīng)用的社交大數(shù)據(jù)的政策規(guī)劃還沒有。為了充分利用大數(shù)據(jù)的價值，中國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展需要上升到國家戰(zhàn)略層面，特別需要從政策制定、資源投入、人才培養(yǎng)等方面給予強有力的支持。企業(yè)與相關(guān)的新興產(chǎn)業(yè)和行業(yè)結(jié)合，通過相關(guān)產(chǎn)業(yè)的政策帶動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展；另一方面是在國家政策的引導(dǎo)下，成立聯(lián)盟、建立專業(yè)組織，引導(dǎo)大數(shù)據(jù)政策提出和產(chǎn)業(yè)環(huán)境的建立。

    三、當(dāng)前主要技術(shù)發(fā)展趨勢分析

    在目前大數(shù)據(jù)發(fā)展背景下，數(shù)據(jù)存儲技術(shù)、處理技術(shù)、分析技術(shù)等在不斷創(chuàng)新和完善，開放的技術(shù)平臺和系統(tǒng)的發(fā)展主要呈現(xiàn)以下幾方面的趨勢：

    (1) 大數(shù)據(jù)的去冗降噪技術(shù)

    大數(shù)據(jù)一般都來自多個不同的源頭，而且往往以動態(tài)數(shù)據(jù)流的形式產(chǎn)生。因此，大數(shù)據(jù)中常常包含有不同形態(tài)的噪聲數(shù)據(jù)。另外，數(shù)據(jù)采樣算法缺陷與設(shè)備故障也可能會導(dǎo)致大數(shù)據(jù)的噪聲。大數(shù)據(jù)的冗余則通常來自兩個方面：一方面，大數(shù)據(jù)的多源性導(dǎo)致了不同源頭的數(shù)據(jù)中存在有相同的數(shù)據(jù)，從而造成數(shù)據(jù)的絕對冗余；另一方面，就具體的應(yīng)用需求而言，大數(shù)據(jù)可能會提供超量特別是超精度的數(shù)據(jù)，這又形成數(shù)據(jù)的相對冗余。降低噪聲、消除冗余是提高數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)存儲成本的基礎(chǔ)。

    (2) 大數(shù)據(jù)的新型表示方法

    目前，表示數(shù)據(jù)的方法不一定能直觀地展現(xiàn)出大數(shù)據(jù)本身的意義。要想有效利用數(shù)據(jù)并挖掘其中的信息或知識，必須找到最合適的數(shù)據(jù)表示方法。數(shù)據(jù)表示方法和最初的數(shù)據(jù)產(chǎn)生者有著密切關(guān)系。如果原始數(shù)據(jù)有必要的標(biāo)識，就會大大減輕事后數(shù)據(jù)識別和分類的困難。但標(biāo)識數(shù)據(jù)會給用戶增添麻煩，往往得不到用戶認(rèn)可。研究既有效又簡易的數(shù)據(jù)表示方法是處理網(wǎng)絡(luò)大數(shù)據(jù)必須解決的技術(shù)難題之一。

    (3) 高效率低成本的大數(shù)據(jù)存儲

    大數(shù)據(jù)的存儲方式不僅影響其后的數(shù)據(jù)分析處理效率也影響數(shù)據(jù)存儲的成本。因此，需要研究多源多模態(tài)數(shù)據(jù)高質(zhì)量獲取與整合的理論和技術(shù)、流式數(shù)據(jù)的高速索引創(chuàng)建與存儲、錯誤自動檢測與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計算的理論和算法等，實現(xiàn)高效率低成本的數(shù)據(jù)存儲方式。

    (4) 非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理

    目前，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)在整個大數(shù)據(jù)中占有相當(dāng)大的比重，而關(guān)系數(shù)據(jù)庫系統(tǒng)的出發(fā)點是追求高度的數(shù)據(jù)一致性和容錯性，因此，傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)無法勝任這些數(shù)據(jù)的處理。系統(tǒng)的高擴展性是大數(shù)據(jù)分析最重要的需求，必須尋找高擴展性的數(shù)據(jù)分析技術(shù)。以MapReduce 和Hadoop為代表的非關(guān)系數(shù)據(jù)分析技術(shù)，以其適合非結(jié)構(gòu)數(shù)據(jù)處理、大規(guī)模并行處理、簡單易用等突出優(yōu)勢，在互聯(lián)網(wǎng)信息搜索和其他大數(shù)據(jù)分析領(lǐng)域取得了重大進(jìn)展，已成為大數(shù)據(jù)分析的主流技術(shù)。然而，MapReduce 和Hadoop 在應(yīng)用性能等方面還存在不少問題，還需要研究開發(fā)更有效、更實用的大數(shù)據(jù)分析和管理技術(shù)來適應(yīng)大數(shù)據(jù)分析方面的技術(shù)需求。