可即時物件擷取與追蹤之智慧型監控攝影機

iCamera: a intelligent real-time foreground detection and tracking surveillance camera

 

 

DEMO Video

Dection result in the intersection of Xinyi Rd. (信義路) and Keelung Rd. (基隆路) in Taipei

iCamera introduction

在現今的社會裡,人們仰賴監控攝影機來達到許多監控的目的。超級市場需要監控系統、馬路口、或是一般的住家也都有裝設。然而在一般的監視系統中,有著許多不人性化的地方:

  • 龐大的資料量,劣質的壓縮率,效率差的儲存方式

  • 具視訊物件為導向之彈性的監視功能

在我們設計的可即時物件擷取與追蹤之智慧型監控攝影機intelligent surveillance camera (iCamera)裡,主要的範圍是應用在智慧型的監控上,如圖一所示。iCamera同時具備了下列特色
  • 具及時處理的能力
  • 具物件偵測的能力

  • 具物件追蹤的能力

  • 具物件物件修改、插入等能力

     

圖一、iCamera系統概念圖

 

The algorithm

我們提出的iCamera的規格為一能對視訊物件進行處理之智慧型攝影機,因此開發出有效率的物件擷取法為iCamera的首要考量。然而在視訊影像裡可能出現的的移動包含了

  • 移動的前景物件

  • 光照度的變化、材質的反光
  • 移動的背景,包含搖晃的樹,飄過的雲等

我們提出了Multiple Gaussian distribution Background Mainte-nance (MGBM)法來模擬這些行為,並利用機率統計的方式重建背景影像。如此,可利用此背景影像與輸入影像進行運算,將前景分割出來。我們所提出的方法包含了兩大部分:由Background MaintenanceBackground Subtraction組成之物件擷取以及Feature extraction以及Object tracking組成之物件追蹤,如圖一所示

  • Background Maintenance: 利用個高斯分佈表示每一個像素,觀察當時像素的機率值並用統計的方式找出最符合背景的分布

  • Background Subtraction: 輸入影像–背景影像 = 前景影像

  • Feature Extraction: 分析並修飾前景影像。同時利用一橢圓區域標示每一前景物件,並擷取橢圓的參數與橢圓周長上的16個特徵點

  • Object Tracking: 採用Kalman filter對每一物件的16點進行預測與估計,來達到物件追蹤的效果

     

The Platform

IEK C6416為德州儀器(TI)的DSP發展系統中的一項產品。主要是針對多媒體分面的應用為主,以下是其主要的硬體規格與實際硬體結構。而軟體Code Composer Studio V2.2則是eXpressDSP發整系統中的一項整合性開發發展軟體。在新版的CCS中將可以支援C,VC++ 6.0,等程式語法

 

iCamera的環境平台:在我們的實際模擬環境中可以清楚的觀察到所輸入處理的影像為及時的從外界擷取,這將與真實的環境非常接近

 

The Optimization

我們的輸入影像大小為CIF的格式處理,每秒30張畫面。在進行嵌入式系統實現時,我們採用了階層式的最佳化法則

  • Optimize K: K愈大記憶體消耗愈大運算量愈大品質愈好,我們採取減低K的數目來降低運算量加上形態學濾波器來修飾結果逼近高階K品質

  • Frame rate control: 控制Background Maintenance的頻率,使整體的運算降低。

  • Software pipeline and loop unrolling: 對程式的迴圈與指令進行最佳化,使程式在C64x執行上能達到最佳的平行度與加速度。

  • Cache access arrangement

  • Look up table technique for Gaussian density probability calculation

 

Experimental result

輸入的影像是利用影像擷取模組連接攝影機以即時方式所擷取