智慧監控系統

大綱

為了取代傳統監控系統的人力浪費，憑藉著智慧監控系統所計算出來的各項資訊進行保存，例如: 該時間的畫面物件數量、各物件軌跡資訊和物件停留時間等等資料，可方便使用者快速搜尋感興趣的時段，減少需要大量翻閱各個監控影片的時間，達到一個人力節省的效果；再者，藉由該平台快速的多物件追蹤處理，可以提供各項的即時辨識系統或是控制系統，來更有效的使用監控影像的資源，提升更多的產品附加價值。本作品透過多項演算法(快速背景更新模型、標籤、群組、匹配和閉塞情形的解決方案)來建立整個智慧監控平台，該平台能夠提取出各物件的資訊進行保留，並能實際操作於Raspberry Pi的嵌入式系統環境下。而我們預期成果是希望該平台能夠在嵌入式系統上面擁有良好的處理效果與速度，並且能夠同時運作2個以上的附加應用，來展現完善的智慧監控平台。

本系統涵蓋功能:

1. 保留有用監控資訊:

例如: 每個時段的畫面物件數量、各物件軌跡資訊和物件停留時間等等。

可方便使用者快速搜尋感興趣的時段，減少需要大量翻閱各個監控影片的時間。

2. 智慧控制系統 - 智慧窗簾:

藉由智慧監控平台所提供的資料，來辨識各個物件的行為，在本作品上主要以舉手為鎖定控制者的功能，可以避免誤判與控制者被更新成背景物件，左手向右揮動可控制窗簾的開啟，右手向左揮動即為控制窗簾關上(揮手部分改進中，目前以舉手為主)，控制訊號會透過藍芽來傳遞到STM32F4的板子，並藉由GPIO來控制步進馬達來控制窗簾。

3. 跌倒偵測與警報:

藉由智慧監控平台所提供的資料，計算各個人物的重心下降速率與長寬比率，以此來判別跌倒事件的發生與否，當跌倒發生，則會透夠藍芽傳到STM32F4的板子來觸發蜂鳴器警示。

4. 室內定位系統:

藉由多物件追蹤系統，可以得知各個移動物件的影像所在位子，並輸入4個監視影像座標與其相對應的鳥勘圖座標，再使用 Direct Linear Transformation (DLT) 演算法進行相對位子的計算，即可達到室內定位的效果。

5. 建立平面鳥勘圖:

室內定位系統可以計算出物件對於平面鳥勘圖的相對位子，在此結合其他應用的控制與辨識訊號來顯示在鳥勘圖上，來達到一個有效率的整體觀測模式，未來將會結合多個監視系統來達到一個大範圍的追蹤平台。

演算法

軟體部分主要分成四個區塊(圖1. 為完整智慧監控平台的方塊流程圖):

1. 前景切割 – Simple adaptive background modeldetail

2. 物件標籤與群組 – Object labeling & grouping

3. 物件匹配與阻塞解決方案 – Matching & processing for occlusions detail

4. 智慧控制與行為辨識 – Intelligent control system

圖1. 智慧監控平台方塊流程圖

A.智慧控制系統

這個智慧控制系統可以使用在簡易控制的傢俱上面，例如窗簾控制、電風扇控制、空調、音量等等類型，在此主要判斷依據來自控制者的舉手資訊，此演算法可有效的判別控制者左右手，並且鎖定控制者，對SABM進行溝通，避免更新掉控制者來達到長期控制的成果，演算法架構圖如圖2.所示。

圖2. 智慧控制系統之舉手控制架構圖

B.跌倒偵測

在跌倒偵測的部分，我們向追蹤物件開發平台索取了物件前景區塊、物件長寬資訊與物件的存在時間等資訊，憑藉著物件長寬資訊可以算出物件的重心位子，並且擁有著物件的長寬比，這長寬比與重心的便動量將成為我們判斷跌倒的重要根據；物件的存在時間與物件前景區塊主要是來減少誤判的可能性，存在時間的設置可以避免浮動雜訊的誤判，而前景區塊部分是用來判斷是否該物件是真的物件。 物件長寬比(scale)是在跌倒偵測中很常見的ㄧ種判別資訊，但是單純只有這樣資訊時，其實是容易判斷錯誤的，所以為了增加判別的精準度和持續性，我們增加了重心浮動的判定，如圖3.所示，站立的人的scale 約是0.4 左右，重心座標假定是Y:20 ，在人跌倒的情形下，人的scale 約是1.2~1.8 左右，重心座標可能會下降至Y:10，憑著這些顯著的訊息分析，對這兩種情況進行分離，進而判斷是否跌倒，這方法也能有效的區分出蹲下與跌倒的差異。

C.室內定位系統

在Tracking提供了畫面中移動物體的位置之後系統即可將其位置去做空間轉換。我們是利用攝影機的畫面與真實世界的關係來做空間轉換，要知道攝影機與真實世界的關係得去做Camera Calibration，因此需要求出相機的Intrinsic parameters 與Extrinsic parameters，方法有很多種，有些需要大量的真實座標與攝影機畫面座標來求得、有些需要多支攝影機畫面交錯重疊來求兩畫面的關係來做校正，我們採用的方法是應用單一畫面的The Direct Linear Transformation (DLT) 中的Homography matrix去做轉換，求出a即可得到Homography matrix，由於我們是將攝影機畫面中的影像做空間轉換至空照地圖，所以將Homography matrix退化至2D-的matrix，二維Homography matrix示意圖如圖5.所示。示意圖我們可以將Zi以1來取代，進而將方程式退化二維的空間的轉換，又因Homography matrix為可逆矩陣，故將攝影機座標與真實世界座標做交換，可直接求出由攝影機轉換至地圖上的轉換矩陣。

圖4.Direct Linear Transform示意圖

圖5. 2D-Homography matrix.

實驗成果

定位系統可分為以下3種狀態：

Normal 當物件正常移動時，標示為綠色
Danger 當出現跌倒情況時，標示為紅色
Intelligent control 當有人舉手鎖定後並開始控制窗簾時，標示為藍色。

室內定位	跌倒偵測
智慧窗簾控制