大數(shù)據(jù)平臺(tái)的總體目標(biāo)是構(gòu)建統(tǒng)一的數(shù)據(jù)采集、存儲(chǔ)、挖掘與分析處理能力。平臺(tái)必須支持海量異構(gòu)數(shù)據(jù)源的采集，包括運(yùn)營商內(nèi)部的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)和外部第三方數(shù)據(jù)，并解決數(shù)據(jù)量暴增所帶來的存儲(chǔ)與計(jì)算性能問題。

　　大數(shù)據(jù)平臺(tái)選用目前主流的Hadoop分布式系統(tǒng)?；贖adoop的大數(shù)據(jù)平臺(tái)不僅是底層分散的各種數(shù)據(jù)源的匯聚平臺(tái)，更重要的是要在數(shù)據(jù)匯聚基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行有效跨域整合，并基于強(qiáng)大的數(shù)據(jù)挖掘分析模型，對(duì)上層應(yīng)用提供各種跨域數(shù)據(jù)分析能力，從而使應(yīng)用能專注于自身的業(yè)務(wù)邏輯，快速創(chuàng)新，促進(jìn)上層業(yè)務(wù)應(yīng)用百花齊放。大數(shù)據(jù)平臺(tái)的關(guān)鍵特點(diǎn)如下：

　　一、基于Hadoop的x86服務(wù)器集群，支持強(qiáng)大的可擴(kuò)展能力，可以隨數(shù)據(jù)量增長而平滑擴(kuò)容；將Hadoop與虛擬化云技術(shù)結(jié)合，可以實(shí)現(xiàn)更靈活的分布式資源管理能力；基于Hadoop流處理技術(shù)，提供實(shí)時(shí)數(shù)據(jù)分布式處理能力。

　　二、數(shù)據(jù)統(tǒng)一采集、存儲(chǔ)、整合、共享?；跀?shù)據(jù)透明訪問模塊提供數(shù)據(jù)統(tǒng)一訪問管理，實(shí)現(xiàn)應(yīng)用與數(shù)據(jù)解耦，同時(shí)增強(qiáng)數(shù)據(jù)安全管控能力，提升用戶隱私保護(hù)能力。

　　三、整合數(shù)據(jù)挖掘模型，構(gòu)建運(yùn)營商統(tǒng)一的商業(yè)洞察與網(wǎng)絡(luò)洞察組建或模型庫，提供統(tǒng)一的能力服務(wù)，快速部署應(yīng)用。

　　基于Hadoop的大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)功能邏輯上主要包括三大塊：數(shù)據(jù)層、能力層、管理域、具體介紹如下：

　　數(shù)據(jù)層主要包括分布式ETL模塊、數(shù)據(jù)庫、數(shù)據(jù)透明訪問模塊。

　　能力層主要包括大數(shù)據(jù)挖掘建?；A(chǔ)能力組建、商業(yè)洞察組建、網(wǎng)絡(luò)洞察組建、能力總線等模塊。其中，大數(shù)挖掘建?；A(chǔ)能力組建是大數(shù)據(jù)的加速器，主要提供數(shù)據(jù)擬合、聚類、機(jī)器學(xué)習(xí)等核心算法庫，用于尋找數(shù)據(jù)間的關(guān)系；也包括文本分析、語音分析、視頻分析、圖分析、自然語言處理、搜索引擎等各種類型的數(shù)據(jù)分析處理技術(shù)；還包括數(shù)據(jù)分析集成開發(fā)環(huán)境。能力層使整個(gè)大數(shù)據(jù)的核心，使大數(shù)據(jù)平臺(tái)區(qū)別于傳統(tǒng)數(shù)據(jù)平臺(tái)，真正具備數(shù)據(jù)智能。

　　管理域主要包括系統(tǒng)管理與數(shù)據(jù)治理，系統(tǒng)管理主要管理軟硬件資源，提供簡(jiǎn)單易用的系統(tǒng)操作維護(hù)界面，包括集群安裝、部署管理、軟件升級(jí)管理、節(jié)點(diǎn)管理、服務(wù)管理、任務(wù)管理、配置管理、集群監(jiān)控、告警管理、日志管理等功能；數(shù)據(jù)治理主要管理系統(tǒng)內(nèi)存儲(chǔ)的數(shù)據(jù)，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)安全管理等。