應用於數位相機之感興趣區域切割嵌入式系統設計
An Embedded Region-Of-Interest Segmentation System for Digital Camera

 

實體展示

        

 

研究概論

    在我們設計的可利用於影像合成之視訊切割系統裡,主要的範圍是應用在數位相機上,在現今的市場中,數位相機可以說是近年消費性電子產品的大熱門。因此我們應用視訊切割技術,讓數位相機在對人拍攝後可On-line將相片中之人物擷取出,與感興趣的背景結合、或做更進一步的應用。除此之外、影像是難以在Off-line下自動的去將ROI (Region of Interest)區域擷取出。我們稱此系統為CameraS( region-of-interest Segmentation for digital Camera)。

    我們的核心想法 利用短暫的取景時間所得到的人物資訊加上拍攝後所擷取到的輪廓邊界等的資訊,將兩個特徵對應來擷取出相片中的前景人物。

    在設計這個系統的重點主要有二

I.             如何定義擷取人物的ROI

II.        如何增加處理的速度,以應付數位相片的高畫素

根據以上這兩個大方向,我們提出了一套利用Down Sampling結合低複雜度的特徵擷取,在這裡我們僅需處理五個程序,分別是Canny Edge Detection、Mapping、Frame Difference、Higher Order Test、Refinement。但是在現實拍攝照片上,往往會有許多不同的情況,例如複雜度高的背景、拍攝複數的人物、相機鏡頭的好壞以及拍攝焦距得遠近等的因素都會有多多少少的影響。為了克服這些問題,我們設置了CameraS Timer,如下圖所示

硬體平台

    IEK C6416為德州儀器(TI)的DSP發展系統中的一項產品。主要是針對多媒體分面的應用為主,以下是其主要的硬體規格與實際硬體結構:

    在得到正確的驗證結果之後再將程式移植到DSP嵌入式系統上並針對此系統的特性以及實際模擬的環境進行適當修改以符合整個嵌入式的系統。而下圖則是模擬數位相機的整體環境平台:

 

演算法 

連續的影像序列中,包含著許多不同的物件,這些物件可能有一些是靜態的有一些是動態的,而靜態跟動態的物件又是由許多不同的事物組成,而這些物件往往是對我們人類而言是有意義的。因此如何組織一些電腦所能判斷出的低階特並且轉換成物件變成在設計系統上最重要的考量。在此,我們提出以邊緣偵測,高階統計法為特徵擷取演算法,再將兩種特徵應對結合,來擷取ROI區域,達到CameraS擷取影像中ROI區域的功能。下圖為系統方塊流程圖,我們的輸入為一般數位相機中使用的YUV格式,這樣使得我們做出來的結果易於與照相機或攝影機拍出來的畫面做結合。

結論

    在現今的3C產業中,數位相機的相關產品在市場中佔有一席之地,除了相機本身外,手機、網眼或數位攝影機等產品都可以提供照相的功能。因此我們希望能將視訊切割這技術整合至數位相機裡面,讓使用者在照相後可以將照片中人物擷取出來,與有興趣的背景結合,然後透過相機的壓縮儲存在記憶體裡面。然而視訊切割在現有的文獻裡是一套複雜的演算法,並且不同的方法有其不同的適用性。在這次嵌入式系統裡,我們透過以擷取人物為前提,將複雜的演算法化減為可以達到640*480大小圖片的即時運算,並且根據不同的拍攝狀況,設定出可以自動調整的臨界值。

    經由實驗證實,對於一張低複雜度的連續影像(也就是移動物件並不是整個移動,而是只有部分移動)我們所使用的方法能得到一個不錯的分割結果。且實際實現在DSP的系統上也有著相當好的結果,並且我們所使用的方法簡單且容易實現,對於現今數位相機、或手持式附有鏡頭的系統的多媒體應用賦予更伸一層的涵義。