根據實際應用需求及應用方式的不同，可以將視頻中挖掘的信息分為五類，
分別是：事件語義信息、目標身份信息、目標圖像特征信息、視頻統計信息及視
頻質量信息。事件語義信息是指從視頻中獲取的可用語言描述的事件信息，例如
有人闖入區域、有人奔跑、發生群聚性事件等，這類信息主要以報警的方式實時
呈現給用戶，用戶可以根據這類信息實時對異常事件進行判斷并進行處理。目標
身份信息主要是指人員身份及車輛牌照信息，用戶以報警的方式或者檢索的方式
使用這類信息，例如車輛黑名單報警或者嫌疑人照片檢索。
目標圖像特征信息是指可描述的目標圖像特征，例如紅色轎車、穿黑白條紋衣服
的人員等，用戶在刑偵工作中可以利用這類信息在海量視頻數據中對目標進行快
速定位。視頻統計信息是指從視頻中獲取的長時間統計數據，例如商場的客流量
、交通要道的車流量等，用戶可以利用這類信息進行管理工作的優化。視頻質量
信息是指對視頻質量進行診斷獲取的對視頻質量異常進行描述的信息，例如視頻
被遮擋、視頻失焦、視頻偏色等，用戶可以利用這類信息進行監控系統的運行維
護。
視頻數據挖掘技術實現方式
視頻數據挖掘技術的實現方式可分為前端設備實現方式和后端設備實現方
式兩種。前端設備實現方式是指在各種前端監控設備中集成智能視頻分析技術，
以實現視頻信息的實時挖掘；后端設備實現方式是指利用后端服務器集群，對前
端監控設備采集的視頻信息進行數據挖掘。一般而言，前端設備實現方式的優點
是可以對視頻數據進行實時分析，并具有根據視頻分析算法的需要對前端設備進
行成像控制的能力，對于信息實時性或者視頻成像特性有特定要求的數據挖掘技
術更適合用前端設備實現方式。視頻數據挖掘技術可以根據需要在DVS、DVR、IP
攝像機及網絡球機等多種前端設備中集成。視頻數據挖掘技術的后端實現方式的
優點在于可以利用服務器集群提供更強大的處理能力，并可同時對多路視頻數據
進行處理實現多路視頻數據之間的信息融合。視頻數據挖掘技術在后端服務器集
群中實現。云計算平臺由于具有高度的靈活性及擴展性，是視頻數據挖掘技術后
端實現方式優秀的承載平臺，隨著云計算技術的發展及成熟，或許在不遠的將來
，云計算平臺將在視頻數據挖掘技術中有大量應用。
不同的視頻數據挖掘技術根據其應用及技術特點需要采用不同的實現方式。
有的信息對于實時性及處理能力的要求不高，用兩種方式都可以實現數據挖掘，
例如視頻質量信息及統計類的信息。而有些信息的應用對于實時性有較高的要求
，或者在數據挖掘的過程中需要對成像設備進行控制，這類數據挖掘技術就適用
于前端設備實現方式，例如，事件語義信息的提取，這類信息一般以報警的方式
呈現給用戶，用戶需要及時的獲取這類信息以做出應對，這類信息的挖掘技術就
適合用前端設備實現。又例如，車牌信息的提取及人臉圖像的檢測，一般需要對
成像設備進行實時的控制，例如攝像機的曝光時間、攝像機增益值等，以獲取高
清晰度的圖像并保證所獲取信息的精確度，因此這類數據挖掘技術在前端攝像機
中實現具有較大的優勢。
有一些數據的挖掘過程中需要系統提供很強的計算能力支撐，或者需要對多
路視頻數據進行信息融合，這類數據挖掘技術就適用于后端實現方式。例如公安
部門在刑偵工作中需要用到的目標特征信息——在刑偵過程中，需要在較短的時
間內完成對海量視頻數據中具有一定特征的目標進行檢索。在這類應用中，需要
系統在短時間內完成對海量視頻數據中的目標特征進行提取及檢索，因此利用服
務器集群的后端實現方式就可以提供高密度計算能力的支撐。又例如，對人員身
份信息的檢索，用戶需要輸入目標人員的人臉圖片在海量視頻數據中對該目標人
員進行檢索。在這類應用中需要對海量視頻數據進行人臉檢測并建立人臉特征庫
，并在人臉特征庫中檢索出特征相似的目標，由于涉及多路視頻數據的信息融合
建立人臉特征庫，因此需要應用后端實現方式。
數據挖掘流程
視頻數據挖掘的目的是建立底層視頻數據到高層語義信息之間的映射關系，
由于這種映射關系比較復雜，一般采用多層次的信息提取及映射技術來最終實現
在視頻數據挖掘過程中，從底層的視頻數據中首先提取低層圖像特征信息，包括
圖像紋理、圖像色塊、運動矢量、圖像邊緣、灰度直方圖等信息，這類信息無法
為我們所直接理解，它們是提取元語義信息的基礎。然后利用目標檢測、目標跟
蹤、特征比對等手段從圖像特征中提取元語義信息，包括運動目標、運動目標軌
跡、車牌圖片、人臉圖片等，這類信息已經可以為我們所理解，但是離最終應用
還有距離。最后將元語義信息融合為高層的語義級描述信息，例如融合運動目標
軌跡信息及用戶設計的禁區信息所生成的描述內容為“發現有人闖入禁區”的語
義級報警信息，再例如融合目標行人目標檢測信息及運動軌跡信息可以生成客流
量統計報表……隨著提取信息的層次越高，其包含的信息量逐步減少，其信息的
抽象程度越高，也更接近我們所能應用及理解的范疇。
行業應用分析
不同行業對于視頻信息的需求及應用方式是截然不同的，因此很難開發出一
套通用的視頻數據挖掘技術去適用于各個行業。在現有的技術發展水平下，比較
合理的做法是根據各行業的需求開發專用的視頻數據挖掘系統。以下筆者將著重
介紹異常事件報警應用及客流量統計應用。
監控系統的主要用途之一是為了在監控場景中發生各類異常事件時，用戶可
以及時發現這類事件并進行處理，但是在缺少視頻數據挖掘技術時，監控系統很
難發揮應有的效能。視頻數據挖掘技術可以從視頻中獲取描述運動目標的各種元
語義信息，并結合用戶事先設定的規則生成報警事件描述性語義信息，并及時通
知用戶，使用戶能夠及時對這類事件做出反應。這類視頻數據挖掘技術已經發展
到一定的成熟度，并在機場、鐵路、監獄、油田、住宅小區等監控領域有了較多
的應用，但是這類技術具有比較強的場景依賴性，在比較復雜多變的場景下其應
用效果還需要進一步提升。
監控視頻中包含了大量統計類信息，這類信息對管理優化及決策輔助有寶貴
的應用價值，例如連鎖店的客流量、保有量及客戶購買率等信息對于連鎖行業客
戶非常重要，現階段要獲取這類信息一般只能靠人工方式統計，成本非常昂貴。
視頻數據挖掘技術可以通過安裝在連鎖店門口的攝像機獲取進出店門的人員視頻
，并從視頻中獲取進出人員及人員運動軌跡等元語義信息，并最終根據用戶設定
的需求生成各類統計報表。目前，由于技術限制，從視頻中挖掘的統計信息雖無
法保證百分之百精確，但是其勝處在于獲取的數據量龐大且成本低廉。
結語
監控視頻數據是埋藏了大量有用信息的“寶庫”，由于巨大的“語義鴻溝”
存在，我們一直以來對這座寶庫可望不可及，借助數據挖掘技術這座“橋梁”我
們有望跨越這條鴻溝。然而由于視頻數據包含的信息非常龐大且各行業對于信息
的需求不同，不同的視頻數據挖掘技術的成熟度有所不同，有些已經可以成熟應
用，而有些還處于起步階段，需要監控技術供應商及集成商付出長期的努力來完
善該類技術。
本文來源:慧聰安防網
