從廣義上來說，可以把智能視頻分析技術分為三類：
視頻分析類：該類主要是在監控圖像中找出目標，并檢測目標的運動特征屬性(如目標相對的像素點位置，目標的移動方向及相對像素點移動速度，目標本身在畫面中的形狀及其改變)，根據以上的基本功能，視頻分析可分為以下幾個功能模塊：周界入侵檢測、目標移動方向檢測、目標運動、停止狀態改變檢測、目標出現與消失檢測、人流量、車流量統計、PTZ自動追蹤系統、系統智能自檢功能等。
視頻識別類：該類包括人臉識別、步態識別與車牌識別，其主要技術是在視頻圖像中找出局部中一些畫面的共性，如人臉必然有兩個眼睛，如果可以找到雙目的位置，那么就可以定性人臉的位置及尺寸。
視頻改善類：該類主要是針對一些不可視、模糊不清，或者是對振動的圖像進行部分優化處理，以增加視頻的可監控性能。具體包括：紅外夜視圖像增強處理、車牌識別影像消模糊處理、光變與陰影抑制處理、潮汐與物體尺寸過濾處理、視頻圖像穩定系統等。
從實現方式來看，智能視頻分析技術目前有兩種常用方式，*種是基于智能視頻處理器的前端解決方案；第二種是基于監控的后端智能視頻分析解決方案。
基于視頻處理器的前端解決方案：所有的目標跟蹤、行為判斷、報警觸發都是由前端智能分析設備完成，只將報警信息通過網絡傳輸至監控中心。優點是：視頻分析設備被放置在IP攝像機之后，這樣可以有效的節約視頻流占用的帶寬；缺點是：價格昂貴，安裝復雜；前端設備分散、易損率高；報警記錄與視頻監控分開。
基于監控的后端智能視頻分析解決方案：所有的前端攝像機僅僅具備基本的視頻采集功能，而所有的視頻分析都必須匯集到后端或者關鍵節點處由計算機統一處理。優點是：無需紅外傳感器等前端檢測設備、可有效與現有監控系統融合、針對不同需求規則改變靈活、可擴展性強；缺點是：只能控制若干關鍵的監控點，并且對計算機性能和網絡帶寬要求比較高。
