基於矩陣乘法架構進行記憶體存取優化的CNN加速器

摘要:

卷積層是卷積神經網絡 (CNN) 推理階段中計算成本最高的部分。 有許多架構被提出來有效地處理它。在這些設計中，具有高度流水線結構的脈動陣列能夠有效地加速通用矩陣-矩陣乘法 (GEMM)。 但是，為了處理GEMM形式的卷積，每一層都需要Image to Column（IM2COL）預處理，這需要更大的內存和重複的內存訪問。 本文提出了一種擴展架構，包括提出的 IM2COL 電路和脈動陣列，以最大限度地提高數據重用性。目的是基於內存減少方法和硬件架構 設計來解決基於 GEMM 的 CNN 加速器的高內存訪問問題。我們為 GEMM 單元設計了一個數據重組轉換單元 (TU)，以減少 IM2COL 生成的冗 餘數據的內存訪問。此外，我們引入了STRIPE BASED的數據流來提高所提出的 TU 的內存需求。通過適當的數據重用，TU 可以節省大約 87% 的內存訪問。我們提出的加速器原型由 512 個乘累加 (MAC) 單元組成，可以達到 128 GOPS。可以根據不同硬件資源的可用性和性能限制來配置並行化。

 

 

系統架構:

 

 

 

資源使用:

 

 

 

 

 

 

 

 

 

 

 

Made by  呂季修