一、傳統(tǒng)視頻質(zhì)量診斷系統(tǒng)定義
傳統(tǒng)視頻聯(lián)網(wǎng)行業(yè)中的視頻質(zhì)量診斷系統(tǒng)是一種圍繞視頻聯(lián)網(wǎng)系統(tǒng)，基于視頻圖像進(jìn)行故障分析與預(yù)警的系統(tǒng)(如圖1所示)。傳統(tǒng)視頻聯(lián)網(wǎng)系統(tǒng)中的攝像機(jī)都是采集視頻流，所以視頻聯(lián)網(wǎng)系統(tǒng)主要是圍繞視頻流(實(shí)況流和視頻錄像)進(jìn)行。隨著人工智能技術(shù)在安防行業(yè)的廣泛應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)也逐漸應(yīng)用于視頻質(zhì)量的診斷。
圖1 傳統(tǒng)視頻質(zhì)量診斷系統(tǒng)和視頻聯(lián)網(wǎng)系統(tǒng)的關(guān)系
隨著卡口類系統(tǒng)(人卡、車卡)的普及，攝像機(jī)可能不輸出視頻流或不僅僅輸出視頻流，還要輸出對(duì)象的結(jié)構(gòu)化信息和圖片，然后在后端系統(tǒng)/平臺(tái)進(jìn)一步分析比對(duì)。由于前端攝像機(jī)智能算力和能力的不同，輸出的圖片質(zhì)量參差不齊，不一定能滿足后端系統(tǒng)/平臺(tái)的使用要求，所以視頻質(zhì)量診斷系統(tǒng)也需要滿足圖片質(zhì)量診斷的需求。如圖2所示，視頻質(zhì)量診斷系統(tǒng)逐步發(fā)展為現(xiàn)代視圖信息運(yùn)維系統(tǒng)/平臺(tái)的一個(gè)子系統(tǒng)。從功能定位來看，視頻質(zhì)量診斷和預(yù)警確實(shí)是視圖信息運(yùn)維系統(tǒng)/平臺(tái)的一個(gè)功能模塊，同時(shí)從視頻診斷的技術(shù)手段來看，對(duì)一個(gè)攝像機(jī)的視頻流進(jìn)行質(zhì)量診斷可能還需要用到設(shè)備信息和網(wǎng)絡(luò)狀態(tài)信息，從用戶應(yīng)用角度來看，視頻診斷不僅只需要對(duì)實(shí)時(shí)視音頻流的質(zhì)量診斷，還需要對(duì)錄像設(shè)備(云存儲(chǔ))、錄像質(zhì)量以及錄像的完整性進(jìn)行診斷和預(yù)警。
圖2 集成于視圖信息運(yùn)維系統(tǒng)/平臺(tái)之中的視頻質(zhì)量診斷系統(tǒng)
如圖1和圖2所示，傳統(tǒng)的視頻質(zhì)量診斷系統(tǒng)(包括集成于視圖信息運(yùn)維系統(tǒng)/平臺(tái)中的視頻質(zhì)量診斷子系統(tǒng))獨(dú)立于視頻聯(lián)網(wǎng)系統(tǒng)之外，所以視頻質(zhì)量診斷系統(tǒng)內(nèi)部需要集成一個(gè)視頻聯(lián)網(wǎng)系統(tǒng)與被診斷視頻聯(lián)網(wǎng)系統(tǒng)使用GB/T 28181協(xié)議進(jìn)行互聯(lián)，以便對(duì)被診斷視頻聯(lián)網(wǎng)系統(tǒng)中的視頻流進(jìn)行診斷，同時(shí)又不能對(duì)被診斷視頻聯(lián)網(wǎng)系統(tǒng)的業(yè)務(wù)造成干擾。基于這種互聯(lián)方式，傳統(tǒng)的視頻質(zhì)量診斷項(xiàng)目及其描述如表1所示。
表1 視頻診斷項(xiàng)目描述
同理，若視圖信息運(yùn)維系統(tǒng)/平臺(tái)中集成了卡口診斷子系統(tǒng)，需要對(duì)被診斷的卡口系統(tǒng)/視頻圖像信息應(yīng)用系統(tǒng)使用GA/T 1400協(xié)議進(jìn)行級(jí)聯(lián)，同時(shí)為了支持必要的診斷功能，還需要進(jìn)行接口協(xié)議擴(kuò)展。不管是卡口診斷還是視頻質(zhì)量診斷都需要獲得被診斷視頻聯(lián)網(wǎng)系統(tǒng)或被診斷卡口系統(tǒng)的設(shè)備資源列表及其設(shè)備目錄樹結(jié)構(gòu)，這些信息都需要和被診斷系統(tǒng)互聯(lián)或級(jí)聯(lián)方式獲取得到。
同時(shí)為了運(yùn)維視頻聯(lián)網(wǎng)錄像和圖片存儲(chǔ)系統(tǒng)(如云存儲(chǔ))，只能使用企業(yè)標(biāo)準(zhǔn)進(jìn)行互聯(lián)運(yùn)維系統(tǒng)/平臺(tái)。若還需要進(jìn)一步獲取視圖應(yīng)用系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、視頻聯(lián)網(wǎng)系統(tǒng)的連接拓?fù)浣Y(jié)構(gòu)以及視頻圖像信息應(yīng)用系統(tǒng)的連接拓?fù)浣Y(jié)構(gòu)都需要對(duì)現(xiàn)有結(jié)構(gòu)進(jìn)行擴(kuò)展，然而這部分功能以及接口協(xié)議的擴(kuò)展目前在視圖應(yīng)用方面的國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)都還不支持，對(duì)行業(yè)內(nèi)的系統(tǒng)間對(duì)接以及以視頻質(zhì)量診斷為代表的視圖運(yùn)維系統(tǒng)/平臺(tái)的發(fā)展形成了制約。
二、傳統(tǒng)視圖運(yùn)維系統(tǒng)架構(gòu)
兩級(jí)視圖應(yīng)用系統(tǒng)及其對(duì)應(yīng)的視圖運(yùn)維系統(tǒng)/平臺(tái)間的邏輯關(guān)系(如圖3所示)。傳統(tǒng)的視圖運(yùn)維系統(tǒng)/平*立于被運(yùn)維的視圖應(yīng)用系統(tǒng)(包括以視頻流互聯(lián)和應(yīng)用為主的視頻聯(lián)網(wǎng)系統(tǒng)和以結(jié)構(gòu)化信息和圖片互聯(lián)應(yīng)用為主的視頻圖像信息應(yīng)用系統(tǒng))之外。
視圖運(yùn)維系統(tǒng)/平臺(tái)和被運(yùn)維設(shè)備/系統(tǒng)/平臺(tái)之間的接口關(guān)系(如圖4所示)。使用現(xiàn)有的GB/T 28181接口、GA/T 1400的數(shù)據(jù)服務(wù)接口以及新定義的運(yùn)維接口來收集運(yùn)維信息。
視圖運(yùn)維系統(tǒng)/平臺(tái)為了對(duì)被運(yùn)維的視頻聯(lián)網(wǎng)系統(tǒng)或視頻圖像信息應(yīng)用系統(tǒng)進(jìn)行管理，其內(nèi)部需要集成一個(gè)對(duì)應(yīng)的視頻聯(lián)網(wǎng)系統(tǒng)或視頻圖像信息應(yīng)用系統(tǒng)進(jìn)行互聯(lián)或級(jí)聯(lián)。
注：(藍(lán)線表示支撐使用運(yùn)維的GB/T 28181協(xié)議、GA/T 1400協(xié)議、及其擴(kuò)展協(xié)議、企業(yè)級(jí)協(xié)議)
圖3 傳統(tǒng)視圖運(yùn)維系統(tǒng)/平臺(tái)和被運(yùn)維系統(tǒng)間邏輯關(guān)系圖
圖4 傳統(tǒng)視圖運(yùn)維系統(tǒng)/平臺(tái)與被運(yùn)維設(shè)備/系統(tǒng)/平臺(tái)之間接口關(guān)系
三、下一代視圖運(yùn)維系統(tǒng)架構(gòu)展望
下一代視圖運(yùn)維系統(tǒng)/平臺(tái)和視圖應(yīng)用系統(tǒng)之間的關(guān)系(如圖5所示)。在視頻聯(lián)網(wǎng)系統(tǒng)中增加視頻聯(lián)網(wǎng)運(yùn)維管理模塊，在視頻圖像信息應(yīng)用系統(tǒng)中增加視頻圖像信息運(yùn)維管理模塊，其中視頻聯(lián)網(wǎng)運(yùn)維管理模塊中包含視頻質(zhì)量診斷模塊，視頻圖像信息運(yùn)維管理模塊中包含圖片質(zhì)量診斷模塊。
注：藍(lán)線表示視頻聯(lián)網(wǎng)運(yùn)維管理模塊和視頻圖像信息運(yùn)維管理模塊提供的運(yùn)維管理信息接口
圖5 下一代視圖運(yùn)維系統(tǒng)/平臺(tái)和視圖應(yīng)用系統(tǒng)之間關(guān)系
其核心思想是視頻聯(lián)網(wǎng)系統(tǒng)本身就可以了解視頻質(zhì)量等各種視頻聯(lián)網(wǎng)運(yùn)維信息，視頻圖像信息應(yīng)用系統(tǒng)本身也可以了解圖像質(zhì)量等各種視頻圖像信息運(yùn)維信息。它們可以通過很少的算力資源收集得到這些信息，然后把這些信息通過GB/T 28181協(xié)議框架接口和GA/T 1400協(xié)議框架接口同步到視圖運(yùn)維系統(tǒng)/平臺(tái)，同時(shí)同步到上級(jí)視圖應(yīng)用系統(tǒng)。
視圖應(yīng)用系統(tǒng)之所以能實(shí)現(xiàn)運(yùn)維管理功能，除了把運(yùn)維管理信息同步給視圖運(yùn)維系統(tǒng)/平臺(tái)之外，起始視圖應(yīng)用系統(tǒng)本身為了維持其應(yīng)用也需要收集這些運(yùn)維管理信息，比如系統(tǒng)中的設(shè)備信息和設(shè)備目錄樹信息、視頻實(shí)況流的點(diǎn)播率、攝像機(jī)或采集設(shè)備在線率、視頻圖像質(zhì)量診斷情況以及統(tǒng)計(jì)情況、視頻錄像文件的完整性統(tǒng)計(jì)、抓拍人像圖片的姿態(tài)角度、圖片清晰度、抓拍目標(biāo)ROI尺寸統(tǒng)計(jì)等，視圖應(yīng)用系統(tǒng)本身也需要這些信息。
如圖6所示，攝像機(jī)內(nèi)部的ISP(Imaging Signal Processing)模塊中包含一系列的視頻圖像處理步驟。ISP的過程為Hot Pixel Correction->Demosaic->NoiseReduction->ShadingCorrection->GeomericCorrection->ColorCorrection->ToneCurveAdjustment->Edge Ehancement。
圖6 攝像機(jī)內(nèi)部ISP處理及相關(guān)流程示意圖
比如只是ISP中的去噪處理模塊就可以對(duì)圖像中是否有噪聲、噪聲類型以及噪聲程度進(jìn)行判斷和計(jì)算，而且現(xiàn)在的攝像機(jī)都是IPC，即輸出都是IP報(bào)文對(duì)視頻編碼碼流傳輸，即在傳輸環(huán)節(jié)排除網(wǎng)絡(luò)丟包的情況，不會(huì)對(duì)數(shù)字圖像質(zhì)量有任何影響，去噪處理模塊對(duì)視頻畫面中噪聲的判斷即為視頻質(zhì)量診斷系統(tǒng)對(duì)噪聲的判斷。
再比如，ISP中的顏色校正模塊也是首先對(duì)視頻畫面中的整體顏色和各區(qū)域的顏色情況進(jìn)行統(tǒng)計(jì)計(jì)算，并根據(jù)白平衡情況進(jìn)行比較，分析得到整個(gè)畫面的顏色情況。該顏色判斷情況即通過視頻質(zhì)量診斷系統(tǒng)對(duì)顏色的判斷。
四、結(jié)語
視圖運(yùn)維系統(tǒng)/平臺(tái)要實(shí)現(xiàn)如表1所列的各種視頻質(zhì)量情況的診斷，需要使用視頻圖像分析技術(shù)和深度神經(jīng)網(wǎng)絡(luò)推理技術(shù)對(duì)獲取的視頻流進(jìn)行解碼，需要耗費(fèi)大量的算力資源。由于在整個(gè)視圖綜合應(yīng)用體系中，視圖運(yùn)維系統(tǒng)/平臺(tái)僅僅起到輔助作用，所以視圖應(yīng)用系統(tǒng)才是核心應(yīng)用。非核心運(yùn)維系統(tǒng)的視頻質(zhì)量診斷算力消耗占據(jù)了整個(gè)視圖綜合應(yīng)用體系的過多資源，所以整體的TCO比較低下。
這種架構(gòu)制約了行業(yè)的發(fā)展，行業(yè)急需一種TCO比較高的架構(gòu)進(jìn)行革新，比如對(duì)視頻圖像質(zhì)量的判斷遷移到視圖應(yīng)用系統(tǒng)的各個(gè)計(jì)算模塊中，甚至遷移到攝像機(jī)的ISP模塊。但這樣的革新需要對(duì)整個(gè)行業(yè)的架構(gòu)慢慢調(diào)整，同時(shí)需要行業(yè)標(biāo)準(zhǔn)化機(jī)構(gòu)的跟進(jìn)和規(guī)范化的推廣。
