計畫團隊成員

 
圖片1-2

總計畫暨子計畫二
Main Project & Subproject 2

鄭桂忠  教授

國立清華大學電機系

 
圖片2-2

子計畫一
Subproject 1

謝志成  教授

國立清華大學電機系

圖片3-2

子計畫三
Subproject 3

羅中泉  教授

國立清華大學系神所

圖片4-2

子計畫四
Subproject 4

呂仁碩  助理教授

國立清華大學電機系

 

技術亮點 Technical Highlights


物聯網相關的終端裝置對於智慧視覺模組需求日漸增加。本計畫將分別開發此模組的關鍵技術，分別為：
1) 基於感測器內運算架構的低功耗高速智慧視覺感測晶片
2) 基於記憶體內運算架構且擁有高能源效率及高準確率的深度學習加速晶片
3) 仿照生物的動態視覺模型設計可追蹤物體移動的軌跡預測網路
4) 基於人腦低功耗的關鍵，設計有執行時期位元數彈性的CNN神經網路

The project will develop key technologies of the intelligent visual system as follows:
1) Low-power high-speed visual sensing chip based on processing-in-sensor architecture.
2) High accuracy and energy efficiency deep learning accelerator based on computing-in-memory architecture.
3) Spiking neural networks to predict the trajectory of moving objects based on biological dynamic vision models.
4) Convolutional neural network models with bit-width flexibility at run time based on human brain inspiration.

 

應用情境 Applications


1. 在IoT終端裝置有硬體上的限制，必須要有低功耗高效能的運算。
2. 使用高速智慧視覺感測晶片可賦予設備長時間待命與感測能力。
3. 基於記憶體內運算架構的深度學習晶片則能實現低功耗的智能運算。
4. 軌跡預測網路將可應用於極低功耗的無人載具上，使其可迴避有危險性的物件並做視覺導引降落。
5. 具有執行時期位元數彈性的CNN神經網路則可以因應不同場景，使設備降低發熱與耗電並維持一定效能。

1. IoT edge device must be low-power and high energy efficiency.
2. Intelligent visual sensing chip provides long-term sensing capability.
3. Deep learning accelerator based on computing-in memory architecture realizes low-power smart computing.
4. The trajectory prediction network can be applied in unmanned vehicles, enabling them to avoid dangerous objects and perform visual guided landing.
5. CNN with bit-width flexibility can reduce the heat and power consumption depending on the situation while maintaining moderate accuracy performance.
 

示意圖 Schematic Diagram

 

影音介紹 Media

空間認知DEMO

軌跡預測DEMO

記憶體計算DEMO

感測器內運算DEMO

射月成果展