數位家庭之視訊內容即時分析整合系統

Real-Time Video Content Integration System

for Digital Home Application

　

Introduction

在未來的數位家庭中，可經由各種媒介接收多樣化的視訊，為了讓使用者可一邊觀看影片內容，同時也可瞭解其它頻道的資訊，必須對重要資訊進行擷取整合，由於在影片內容中，常常包含大量的字幕，而這些字幕大多是前後影片內容的摘要，因此，我們設計一套能自動擷取字幕並能即時進行視訊整合的系統。

本產品係開發於雙核心硬體平台之視訊整合系統，可分析節目內容，擷取重要訊息，整合多重頻道內容，即時撥放整合後的視訊內容；並能讓演算法分別於雙核心中執行，可發揮雙核心硬體效能。

System Function

如圖一所示。本系統具備了下列功能

• 視訊資訊擷取

能自動偵測、定位、擷取移動字幕資訊，同時處理垂直水平字幕。只需單張畫面即可擷取視訊內容字幕資訊，可加快處理速度。

• 多重視訊整合

能夠移除多餘的垂直及水平字幕，並保持移除後畫面的一致性。可將擷取的字幕資訊與主頻道進行整合。具備即時整合處理訊息的能力。

• 符合雙核心架構規範

透過DSP/Link達成RISC及DSP的溝通，以傳輸運算過程產生的資料。以SIMD機制一次讀取及運算多筆視訊資料，發揮硬體加速處理。利用所設計DMA傳送機制傳送資料至系統核心，有效使用DMA資源。

• 與多個不同週邊溝通

透過RISC的硬體特性，使系統能連接多種輸出、輸入介面。利用UART模組，經由遙控器操作系統，達到如控制數位電視一般。

　

圖一、系統方塊圖

　

Algorithm Flow

圖二、視訊資訊擷取演算法

圖三、視訊整合演算法

Communication in Dual-Core Platform

RISC與DSP透過建立的DSP/BIOS LINK與Shared memory做資料的交換，讓DSP執行需要大量運算的演算法，並由RISC主控影像的輸入、輸出及與DSP的溝通。

圖四、平台內部溝通架構圖

DSP Optimization

為了達到即時處理的目標，經由 Software pipeline 之後，平均cycle數降低66%，進一步採用internal buffer及DMA傳送機制後，平均cycle數更降低93%，由此可證明所開發的整合架構能符合快速處理的要求。

圖五、DSP字幕擷取最佳化結果 圖六、DSP字幕回復最佳化結果

System Demo

擷取字幕:在資訊擷取子系統中，採用字幕作為重要資訊的來源，為了能夠精準的擷取出字幕，提供整合之用，因此實現低複雜度字幕擷取方法，將多個訊號源影片內容資訊快速擷取出來。

　　

將A台貼到B台:當擷取字幕及去除不必要的字幕後，可將A台的字幕貼到B台，加以整合，觀眾即可經由DaVinci平台所提供的OSD使用來快速獲得其它台的相關資訊，不需切換頻道。

　　

Conclusion

本研究利用雙核心平台實現資訊擷取及整合的方式，此系統為一個類電視盒，可接收數位電視訊號並加以整合處理，系統完成度接近100%，尤其以實際平台驗證後，更可快速與其它產品進行結合。當影片進入系統時，系統自動進行偵測字幕的動作，同時進行字幕整合的動作，系統可有效的濾除不必要的字幕，對於數位家庭使用者而言能夠在觀看影片又可接收各項資訊是非常有助益的 。