中國(guó)的網(wǎng)絡(luò)通信技術(shù)在近年來(lái)實(shí)現(xiàn)了突飛猛進(jìn)的發(fā)展,各種新興技術(shù)層出不窮，除了傳統(tǒng)的網(wǎng)絡(luò)接入終端智能手機(jī)和電腦外，智能手表、健身腕帶、智能家庭設(shè)備、網(wǎng)絡(luò)支付、高清影音、物聯(lián)網(wǎng)等的普及也使用戶對(duì)于聯(lián)網(wǎng)速率的要求越來(lái)越高，三大運(yùn)營(yíng)商為了適應(yīng)時(shí)代潮流，同時(shí)為用戶提供更為便捷迅速的服務(wù)，采用的通信技術(shù)也逐漸由從上世紀(jì)90年代的2G，到2010年左右興起的4G。時(shí)至今日，隨著用戶的音頻、 視頻、圖像等業(yè)務(wù)急劇增長(zhǎng)，網(wǎng)絡(luò)流量的爆炸式增長(zhǎng),即使是4G網(wǎng)絡(luò)也逐漸無(wú)法完全滿足人民對(duì)網(wǎng)絡(luò)速率提升的需求，5G網(wǎng)絡(luò)的普及變得越來(lái)越迫切。
根據(jù)工信部等部門(mén)提出的5G推進(jìn)工作部署以及三大運(yùn)營(yíng)商的5G商用計(jì)劃，我國(guó)最快2020年正式推出5G商用服務(wù)�？梢�(jiàn)5G時(shí)代馬上就要到來(lái)，而5G網(wǎng)絡(luò)其峰值理論傳輸速度可達(dá)每秒數(shù)十Gb，這比4G網(wǎng)絡(luò)的傳輸速度快數(shù)百倍，除了支持手機(jī)和平板電腦外，5G網(wǎng)絡(luò)將還可支持各種可佩戴式智能設(shè)備以及智能家居，等到5G網(wǎng)絡(luò)商用后，也將帶動(dòng)車(chē)聯(lián)網(wǎng)、物聯(lián)網(wǎng)、無(wú)人機(jī)、云計(jì)算等應(yīng)用的發(fā)展，所以基礎(chǔ)承載網(wǎng)絡(luò)的擴(kuò)容需求隨著也變得迫在眉睫。目前常用的千兆以太網(wǎng)技術(shù)已經(jīng)完全無(wú)法滿足時(shí)代的需求，萬(wàn)兆以太網(wǎng)技術(shù)和基于IEEE 802.3ba標(biāo)準(zhǔn)的40/100G以太網(wǎng)技術(shù)必將成為以后的主流。
一、5G承載網(wǎng)絡(luò)中數(shù)據(jù)采集遇到的問(wèn)題
凡事利弊共存，隨著5G時(shí)代海量數(shù)據(jù)的接入，用戶在享受便利的網(wǎng)絡(luò)沖浪的同時(shí)，面臨的諸如網(wǎng)絡(luò)蠕蟲(chóng)、木馬病毒及垃圾郵件、DDOS攻擊、網(wǎng)絡(luò)資源濫用（包括P2P下載、IM即時(shí)通訊、網(wǎng)絡(luò)游戲、在線視頻等行為）、黑客攻擊行為等網(wǎng)絡(luò)威脅也愈發(fā)嚴(yán)峻，傳統(tǒng)的基于千兆接口和萬(wàn)兆接口的安全性能分析設(shè)備和基于交換機(jī)端口鏡像的數(shù)據(jù)采集方式，由于性能和設(shè)計(jì)的時(shí)代特性，逐漸變得力不從心，用戶在監(jiān)控?cái)?shù)據(jù)采集方面經(jīng)常會(huì)遇到如下問(wèn)題：
（一）多種旁路監(jiān)控分析設(shè)備同時(shí)部署，交換機(jī)鏡像端口不足
基于交換機(jī)鏡像端口旁路部署的安全設(shè)備逐漸增多，在同時(shí)部署兩個(gè)或以上的旁路監(jiān)聽(tīng)設(shè)備之時(shí)不僅增加交換機(jī)的性能開(kāi)銷(xiāo)，且不能滿足各種安全監(jiān)控設(shè)備靈活部署的需要。
（二）基于核心出口南北向數(shù)據(jù)采集方式，存在東西向數(shù)據(jù)監(jiān)控盲點(diǎn)
傳統(tǒng)采集方式主要采用出口或核心區(qū)域的交換機(jī)鏡像方式采集流量，這種方式只能采集跨網(wǎng)段數(shù)據(jù)訪問(wèn)，但相同網(wǎng)段下的數(shù)據(jù)訪問(wèn)無(wú)法進(jìn)行采集，存在監(jiān)控盲點(diǎn)和監(jiān)控分析數(shù)據(jù)不完整，將導(dǎo)致無(wú)法在第一時(shí)間溯源原始攻擊和影響數(shù)據(jù)分析結(jié)果
（三）安全監(jiān)控設(shè)備部署管理分散，數(shù)據(jù)存在泄密風(fēng)險(xiǎn)
不同種類(lèi)的監(jiān)控分析設(shè)備直接采集全量的區(qū)域數(shù)據(jù)流量，但數(shù)據(jù)安全審計(jì)設(shè)備只需監(jiān)控?cái)?shù)據(jù)庫(kù)類(lèi)型數(shù)據(jù)、網(wǎng)絡(luò)監(jiān)控分析系統(tǒng)只需監(jiān)控分析網(wǎng)絡(luò)層流量，一旦這些設(shè)備獲得全量的原始數(shù)據(jù)后，將存在人為泄密或系統(tǒng)安全漏洞泄密風(fēng)險(xiǎn)
（四）監(jiān)控分析設(shè)備投資成本增加，但分析效率不高
在網(wǎng)絡(luò)帶寬升級(jí)時(shí)，企業(yè)首先考慮增加安全監(jiān)控設(shè)備的投資，但全量的數(shù)據(jù)監(jiān)控分析，勢(shì)必帶有大量無(wú)用的背景流，其真正所需的數(shù)據(jù)并不多，如不能有效過(guò)濾，將降低安全設(shè)備分析效率。
（五）無(wú)法監(jiān)控分析10/40/100G高帶寬鏈路
安全監(jiān)控設(shè)備廠商擅長(zhǎng)于從普通100/1000M以太網(wǎng)網(wǎng)卡捕獲報(bào)文，通過(guò)CPU進(jìn)行流重組、協(xié)議解密、數(shù)據(jù)分析，其技術(shù)架構(gòu)都沉淀在X86平臺(tái)上，這類(lèi)解決方案由于受到網(wǎng)卡和硬件架構(gòu)的局限性，可處理的鏈路介質(zhì)和流量都不高。
（六）無(wú)法標(biāo)識(shí)數(shù)據(jù)源，無(wú)法精確定位故障源
在復(fù)雜的網(wǎng)絡(luò)環(huán)境中采集原始數(shù)據(jù)時(shí)，不能有效的標(biāo)識(shí)數(shù)據(jù)源來(lái)自那些網(wǎng)元設(shè)備或地理位置（如租戶、虛擬機(jī)、物理機(jī)、虛擬網(wǎng)元、物理網(wǎng)元設(shè)備的邏輯關(guān)系映射），將影響監(jiān)控分析設(shè)備及時(shí)發(fā)現(xiàn)攻擊事件或定位故障事件。
（七）采集節(jié)點(diǎn)和安全監(jiān)控設(shè)備缺乏統(tǒng)一可視化管理
大量采集節(jié)點(diǎn)和安全監(jiān)控設(shè)備管理相對(duì)獨(dú)立，采用傳統(tǒng)的傳統(tǒng)的網(wǎng)絡(luò)分流器或匯聚分流設(shè)備解決方案管理，無(wú)法做到全網(wǎng)全局可視化，存在許多管理盲點(diǎn)。
二、NetTAP流量可視化智能管控平臺(tái)解決方案
成都數(shù)維通信技術(shù)有限公司，是一家專(zhuān)注于流量可視化智能管控設(shè)備研發(fā)、生產(chǎn)、制造的高新技術(shù)企業(yè)，為了應(yīng)對(duì)5G網(wǎng)絡(luò)的發(fā)展所帶來(lái)的一系列問(wèn)題，未雨綢繆，提出NetTAP流量可視化智能管控平臺(tái)整體解決方案，可以充分的利用現(xiàn)有安全設(shè)備，有效的解決用戶所面臨的一系列問(wèn)題。
圖1.1
如上圖1.1所示，在用戶的網(wǎng)絡(luò)采集節(jié)點(diǎn)和后端安全分析設(shè)備之間構(gòu)建一層智能的數(shù)據(jù)采集分發(fā)平臺(tái)，采用全方位的圖形化控制界面，按需分配數(shù)據(jù)到相關(guān)的安全監(jiān)控設(shè)備，進(jìn)而保護(hù)用戶網(wǎng)絡(luò)安全。
智能的數(shù)據(jù)采集分發(fā)平臺(tái)由兩個(gè)功能模塊組成，分別為（1）數(shù)據(jù)采集矩陣：由流量可視化智能管控設(shè)備級(jí)聯(lián)組成，執(zhí)行基礎(chǔ)的數(shù)據(jù)采集和預(yù)處理功能，通過(guò)多種采集方式對(duì)全網(wǎng)流量進(jìn)行統(tǒng)一的采集，有效的消除監(jiān)控盲點(diǎn)，并根據(jù)后端安全分析設(shè)備的需求進(jìn)行精確的流量復(fù)制提取和分發(fā)，簡(jiǎn)化網(wǎng)絡(luò)復(fù)雜度，減輕后端分析設(shè)備壓力。（2）統(tǒng)一管理分析系統(tǒng)：成都數(shù)維自主研發(fā)的MATRIX NetTAP-insight統(tǒng)一管理分析平臺(tái)，實(shí)現(xiàn)可視化分析和可視化管理兩個(gè)功能子項(xiàng)，其中可視化管理是指對(duì)前端流量可視化智能管控設(shè)備的統(tǒng)一配置管理和網(wǎng)絡(luò)拓?fù)錉顟B(tài)的展現(xiàn)，可視化分析是指對(duì)輸入流量大小和趨勢(shì)分析、協(xié)議分布分析、鏈接質(zhì)量分析、輸出流量分析、實(shí)時(shí)預(yù)警、傳輸路徑和傳輸延遲分析和自動(dòng)/人工流量快照等功能，最終實(shí)現(xiàn)幫助用戶及時(shí)了解全網(wǎng)狀態(tài)，精確進(jìn)行故障定位的目標(biāo)。
三、NetTAP流量可視化智能管控平臺(tái)-采集技術(shù)介紹：
成都數(shù)維通信公司生產(chǎn)的數(shù)據(jù)可視化采集設(shè)備支持旁路鏡像、光鏈路在線、電鏈路在線三種采集方式，通過(guò)這三種采集方式可以將用戶各個(gè)采集節(jié)點(diǎn)的流量采集下來(lái)，有效的減少監(jiān)控盲點(diǎn)。
（1）旁路鏡像采集
旁路采集是指通過(guò)鏡像數(shù)據(jù)采集設(shè)備作為前端采集設(shè)備，截取交換機(jī)端口鏡像數(shù)據(jù)，再由流量可視化智能管控設(shè)備對(duì)采集的數(shù)據(jù)進(jìn)行統(tǒng)一分發(fā)；基于旁路的采集方式不會(huì)對(duì)網(wǎng)絡(luò)造成任何影響。
（2）光鏈路在線采集
光鏈路在線采集是指通過(guò)無(wú)源分光設(shè)備作為前端采集設(shè)備，串聯(lián)部署在網(wǎng)絡(luò)設(shè)備之間，透明采集其通信數(shù)據(jù)，再由流量可視化智能管控設(shè)備對(duì)采集的數(shù)據(jù)進(jìn)行統(tǒng)一分發(fā)；基于無(wú)源分光的采集方式，一旦成功割接后，其穩(wěn)定性非常高。
（3）電鏈路在線采集
電鏈路在線采集是指通過(guò)在線TAP設(shè)備作為前端采集設(shè)備，串聯(lián)部署在網(wǎng)絡(luò)設(shè)備之間，透明采集其通信數(shù)據(jù)，再由流量可視化智能管控平臺(tái)對(duì)采集的數(shù)據(jù)進(jìn)行統(tǒng)一分發(fā)；基于Bypass保護(hù)機(jī)制的設(shè)備，在其意外掉電情況下，由繼電器陣列進(jìn)行切換，快速實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備物理直通，持續(xù)保障網(wǎng)絡(luò)暢通。
四、流量可視化智能管控平臺(tái)-預(yù)處理功能介紹：
成都數(shù)維通信公司生產(chǎn)的數(shù)據(jù)可視化采集設(shè)備，支持對(duì)采集到的流量進(jìn)行各種預(yù)處理，有效解決用戶部署安全分析設(shè)備時(shí)遇到的各種問(wèn)題，減輕安全分析設(shè)備處理壓力。
4.1基礎(chǔ)流量處理功能
4.1.1 復(fù)制/匯聚
對(duì)原始輸入流量和預(yù)處理后流量按1路信號(hào)復(fù)制到N路信號(hào)或者N路信號(hào)匯聚后復(fù)制到M路信號(hào)的10GE線速轉(zhuǎn)發(fā)，完美的解決了網(wǎng)絡(luò)中同時(shí)部署兩臺(tái)以上的多端口監(jiān)聽(tīng)旁路設(shè)備的需求。
4.1.2 分流/過(guò)濾
對(duì)輸入的數(shù)據(jù)流進(jìn)行精確分類(lèi)，將不同數(shù)據(jù)業(yè)務(wù)按白名單或黑名單規(guī)則，丟棄或轉(zhuǎn)發(fā)至多個(gè)接口輸出。進(jìn)一步滿足各類(lèi)網(wǎng)絡(luò)安全設(shè)備、協(xié)議分析、信令分析、等流量監(jiān)控部署需求。
4.1.3負(fù)載均衡
依據(jù)L2-L7層特征進(jìn)行Hash算法和基于會(huì)話的權(quán)重分算法的負(fù)載均衡，以保證旁路監(jiān)聽(tīng)設(shè)備接收到數(shù)據(jù)流的會(huì)話完整性，且分流端口組成員在鏈路狀態(tài)發(fā)生變化時(shí)可靈活退出（鏈路DOWN）或加入（鏈路UP），分流組自動(dòng)重新分配流量，保證端口輸出流量的動(dòng)態(tài)負(fù)載均衡。
4.1.4UDF匹配
對(duì)報(bào)文前128字節(jié)任意關(guān)鍵字段的匹配，用戶可以自定義偏移值和關(guān)鍵字段長(zhǎng)度、內(nèi)容，根據(jù)用戶配置決定流量輸出策略。
4.1.5vlan標(biāo)記/替換/刪除
將原始數(shù)據(jù)包打上vlan 標(biāo)記，用于標(biāo)識(shí)數(shù)據(jù)包的來(lái)源，同時(shí)支持替換及對(duì)vlan 標(biāo)簽的刪除。
4.1.6MAC地址替換
替換原始數(shù)據(jù)包中的目的MAC地址，可根據(jù)用戶配置決定實(shí)施流量輸出策略。
4.2智能流量處理功能
4.2.1時(shí)間戳標(biāo)記
同步NTP服務(wù)器將時(shí)間校準(zhǔn)后，以相對(duì)時(shí)間的標(biāo)簽形式寫(xiě)入報(bào)文中（在幀末尾打上時(shí)間戳標(biāo)記），時(shí)間的精度為納秒級(jí)。
4.2.2標(biāo)簽剝離
對(duì)原始數(shù)據(jù)包中的VxLAN、VLAN、MPLS包頭進(jìn)行剝離后輸出。
4.2.3數(shù)據(jù)去重
基于端口或策略級(jí)的統(tǒng)計(jì)粒度對(duì)多個(gè)采集源數(shù)據(jù)進(jìn)行對(duì)比，在規(guī)定時(shí)間內(nèi)對(duì)采集到的相同數(shù)據(jù)包去重復(fù)；用戶可選擇不同的報(bào)文標(biāo)識(shí)（dst.ip 、src.port、dst.port、tcp.seq、tcp.ack）進(jìn)行比對(duì)后實(shí)現(xiàn)去重復(fù)。
4.2.4數(shù)據(jù)切片
對(duì)原始數(shù)據(jù)進(jìn)行基于策略級(jí)的切片（64-1518字節(jié)可選），可根據(jù)用戶配置決定實(shí)施流量輸出策略。
4.2.5數(shù)據(jù)脫敏
基于策略級(jí)的粒度對(duì)原始數(shù)據(jù)內(nèi)的任意關(guān)鍵字段進(jìn)行替換，以達(dá)到屏蔽敏感信息的目的，可根據(jù)用戶配置決定實(shí)施流量輸出策略。
4.2.6高層協(xié)議識(shí)別
應(yīng)用層協(xié)議識(shí)別及過(guò)濾分流輸出�，F(xiàn)有特征庫(kù)可支持常用的應(yīng)用層協(xié)議識(shí)別，如ftp、http、pop、smtp、dns、ntp、BitTorrent、syslog、mysql、mssql等。若有特殊需求，也可進(jìn)行二次開(kāi)發(fā)。
五、流量可視化智能管控平臺(tái)-診斷與監(jiān)控功能介紹
5.1實(shí)時(shí)監(jiān)控
對(duì)端口級(jí)、策略級(jí)的數(shù)據(jù)流量進(jìn)行實(shí)時(shí)監(jiān)控統(tǒng)計(jì)，并以報(bào)表、圖形曲線的方式對(duì)收/發(fā)速率、收/發(fā)字節(jié)數(shù)、收/發(fā)報(bào)文數(shù)、收/發(fā)錯(cuò)誤數(shù)、最大收/發(fā)速率等關(guān)鍵指標(biāo)進(jìn)行展現(xiàn)。同時(shí)，也可對(duì)多條策略的命中流量實(shí)現(xiàn)關(guān)聯(lián)合并統(tǒng)計(jì)。
5.2流量告警
對(duì)端口級(jí)、策略級(jí)的數(shù)據(jù)流量監(jiān)控告警。通過(guò)設(shè)置各端口、各策略流量溢出告警閥值來(lái)對(duì)可能出現(xiàn)流量超限的接口或數(shù)據(jù)業(yè)務(wù)流量進(jìn)行提前預(yù)警，并以圖表、日志報(bào)告的方式即時(shí)展現(xiàn)。
5.3歷史流量回溯
對(duì)端口級(jí)、策略級(jí)的近N個(gè)月的歷史流量統(tǒng)計(jì)查詢(xún)�？筛鶕�(jù)天、小時(shí)、分鐘等粒度對(duì)收/發(fā)速率、收/發(fā)字節(jié)數(shù)、收/發(fā)報(bào)文數(shù)、收/發(fā)錯(cuò)誤數(shù)等信息進(jìn)行查詢(xún)選擇。
5.4數(shù)據(jù)捕獲
對(duì)端口級(jí)、策略級(jí)的報(bào)文實(shí)時(shí)捕獲。當(dāng)出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)包異常、流量異常波動(dòng)的時(shí)候可在第一時(shí)間對(duì)可疑鏈路或策略中的原始數(shù)據(jù)包進(jìn)行抓包并下載到本地，通過(guò)Wireshark工具進(jìn)行分析，幫助用戶快速分析定位故障點(diǎn)。
六、部署方案介紹：
6.1 100G/40G接口流量采集方案
隨著5G通信時(shí)代的來(lái)臨，用戶業(yè)務(wù)網(wǎng)絡(luò)的擴(kuò)容，100GE/40GE接口的應(yīng)用必將越來(lái)越普遍，而傳統(tǒng)的網(wǎng)絡(luò)安全分析和性能分析設(shè)備均是基于10G/1G/100M接口進(jìn)行網(wǎng)絡(luò)流量的捕獲，無(wú)法適應(yīng)100GE/40GE接口數(shù)據(jù)采集的需求，成都數(shù)維針對(duì)該場(chǎng)景，推出了100GE/40GE系列高密度網(wǎng)絡(luò)NetTAP流量可視化智能管控設(shè)備， 如上圖所示，NetTAP設(shè)備對(duì)采集到的N路100GE 鏈路的流量首先執(zhí)行流量匯聚及基于特定規(guī)則的報(bào)文/流過(guò)濾流量標(biāo)識(shí)，并根據(jù)不同的后臺(tái)應(yīng)用需求，通過(guò)多個(gè) 10GE 接口分配相應(yīng)流量輸出至各后臺(tái)系統(tǒng)進(jìn)行分析。同時(shí)，流量可視化智能管控設(shè)備支持對(duì)多臺(tái)分析設(shè)備組成的監(jiān)控分析云系統(tǒng)的各個(gè)節(jié)點(diǎn)進(jìn)行動(dòng)態(tài)監(jiān)控健康檢查，基于健康檢查的結(jié)果對(duì)其進(jìn)行智能分配流量，在分析節(jié)點(diǎn)狀態(tài)正常時(shí)，為其正常分配一定比例的流量，節(jié)點(diǎn)狀態(tài)異常時(shí)，減輕或停止為其分配分析流量。通過(guò)流量可視化智能管控設(shè)備與后臺(tái)分析云節(jié)點(diǎn)之間的互動(dòng)共同構(gòu)建一套高可靠性的監(jiān)控分析云系。
6.2 級(jí)聯(lián)部署流量采集方案
5G通信時(shí)代，隨著用戶網(wǎng)絡(luò)的擴(kuò)容，網(wǎng)絡(luò)架構(gòu)更加復(fù)雜、監(jiān)控節(jié)點(diǎn)更加廣泛，在執(zhí)行多級(jí)安全防護(hù)時(shí)，需要部署大量的安全監(jiān)控設(shè)備在各網(wǎng)絡(luò)處進(jìn)行安全監(jiān)控，但大量的安全監(jiān)控設(shè)備分散部署，容易形成信息孤島，導(dǎo)致信息分散，重復(fù)數(shù)據(jù)監(jiān)控也無(wú)法避免，不僅降低了流量監(jiān)控工具的利用率，同時(shí)造成了管理和維護(hù)的困難。
采用多臺(tái)NetTAP流量可視化智能管控設(shè)備級(jí)聯(lián)作為解決方案，一般通過(guò)不同類(lèi)型的流量可視化智能管控設(shè)備進(jìn)行智能組網(wǎng)，使用旁路和在線采集方式捕獲各網(wǎng)段的數(shù)據(jù)流量，對(duì)不同節(jié)點(diǎn)的采集流量先進(jìn)行入站標(biāo)識(shí)，梳理分散流量；在出站時(shí)，可基于L2-L7層信息對(duì)關(guān)鍵流量進(jìn)行提取、分類(lèi)和優(yōu)先等級(jí)的分配，配合各類(lèi)安全監(jiān)控設(shè)備對(duì)流量不同要求作出優(yōu)化，大幅降低出站流量，并智能地分配流量負(fù)載。最終通過(guò)流量智能采集統(tǒng)一分發(fā)平臺(tái)對(duì)數(shù)據(jù)流量進(jìn)行整合、分類(lèi)、可視化管控，可有效解決的大型網(wǎng)絡(luò)安全監(jiān)控中存在節(jié)點(diǎn)分散、管理維護(hù)困難、監(jiān)控流量過(guò)大等難題。
七、結(jié)語(yǔ)
在5G網(wǎng)絡(luò)時(shí)代，伴隨著海量網(wǎng)絡(luò)數(shù)據(jù)的接入，原有安全監(jiān)控項(xiàng)目中的傳統(tǒng)采集技術(shù)已經(jīng)不適應(yīng)迅速增大的數(shù)據(jù)量級(jí)，不同種類(lèi)安全監(jiān)控設(shè)備的部署也面臨諸多挑戰(zhàn)。因此，應(yīng)以可視、可控、可調(diào)、可管為目的，在構(gòu)建海量數(shù)據(jù)信息安全等級(jí)保護(hù)技術(shù)框架時(shí)，使用可視化流量可視化智能管控平臺(tái)對(duì)流量進(jìn)行預(yù)處理和精細(xì)化管控等方式無(wú)疑最佳選擇。 
