近日,清華大學在類腦視覺感知芯片領域取得重要突破:
清華大學依托精密儀器系的類腦計算研究中心施路平教授團隊,提出一種基于視覺原語的互補雙通路類腦視覺感知新范式,研制出世界首款類腦互補視覺芯片“天眸芯”。基于該研究成果的論文《面向開放世界感知、具有互補通路的視覺芯片》(A Vision Chip with Complementary Pathways for Open-world Sensing)作為封面文章,登上5月30日的《自然》雜志。
這是該團隊繼異構融合類腦計算“天機芯”后第二次登上 《自然》 雜志封面,標志著在類腦計算和類腦感知兩個方向上均取得重要突破。
5月30日《自然》雜志封面
這一成果與我們的日常生活有哪些關系?據介紹,隨著人工智能的飛速發展,無人駕駛和具身智能等無人系統在現實社會中不斷推廣應用,其中,視覺感知作為獲取信息的關鍵途徑,發揮著至關重要的作用。然而,在復雜多變且不可預測的環境中,實現高效、精確且魯棒的視覺感知依然是一個艱巨的挑戰。
在開放世界中,智能系統不僅要處理龐大的數據量,還需要應對各種極端事件,如駕駛中的突發危險、隧道口的劇烈光線變化、夜間強閃光干擾等。傳統視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制,在應對這些場景時往往面臨失真、失效或高延遲的問題,嚴重影響系統的穩定性和安全性。
為了克服這些挑戰,清華大學精密儀器系類腦計算研究團隊聚焦類腦視覺感知芯片技術,提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。該范式借鑒了人類視覺系統的基本原理,將開放世界的視覺信息拆解為基于視覺原語的信息表示,并通過有機組合這些原語,模仿人視覺系統的特征,形成兩條優勢互補、信息完備的視覺感知通路。
基于這一新范式,團隊進一步研制出了世界首款類腦互補視覺芯片“天眸芯”,在極低的帶寬和功耗代價下,實現了每秒10000幀的高速、10bit的高精度、130dB的高動態范圍的視覺信息采集,不僅突破了傳統視覺感知范式的性能瓶頸,而且能夠高效應對各種極端場景,確保系統的穩定性和安全性。
類腦互補視覺感知芯片“天眸芯”
基于“天眸芯”,團隊還自主研發了高性能軟件和算法,并在開放環境車載平臺上進行了性能驗證。在多種極端場景下,該系統實現了低延遲、高性能的實時感知推理,展現了其在智能無人系統領域的巨大應用潛力。
自動駕駛感知演示平臺
據悉,論文通訊作者為清華大學精密儀器系施路平教授和趙蓉教授。研究團隊表示,“天眸芯”的成功研制為自動駕駛、具身智能等重要應用開辟了新的道路。結合團隊在類腦計算芯片“天機芯”、類腦軟件工具鏈和類腦機器人等方面已應用落地的技術積累,“天眸芯”的加入將進一步完善類腦智能生態,有力推動人工通用智能的發展。
圖為研究團隊(張兆基攝)
來源:人民日報客戶端
1、本文只代表作者個人觀點,不代表本站觀點,僅供大家學習參考;
2、本站屬于非營利性網站,如涉及版權和名譽問題,請及時與本站聯系,我們將及時做相應處理;
3、歡迎各位網友光臨閱覽,文明上網,依法守規,IP可查。
作者 相關信息
內容 相關信息
? 昆侖專題 ?
? 高端精神 ?
? 新征程 新任務 新前景 ?
? 習近平治國理政 理論與實踐 ?
? 國策建言 ?
? 國資國企改革 ?
? 雄安新區建設 ?
? 黨要管黨 從嚴治黨 ?