久久99国产精品尤物-国产高清色播视频免费看-男生肌肌往女人桶爽视频-精品国产-91PORNY九色|www.jqdstudio.net

近日，「圖靈量子」、上海交大集成量子信息技術技術研究中心（IQIT）、上海交大無錫光子芯片研究院（CHIPX）合作發表創新成果。上海交大金賢敏團隊在《自然·通訊》（Nature Communications）上以「High-efficiency reinforcement learning with hybrid architecture photonic integrated circuit」為題發表最新研究成果，提出了一種新型混合架構可編程光子計算芯片，展示了基于光子芯片的強化學習（PIC-RL）對鈣鈦礦材料合成任務的高效求解。文章中提出的PIC-RL框架首次成功實現了在可編程光子計算芯片上的復雜強化學習任務實驗求解。同時，混合架構光子芯片(HyArch PIC)的獨特優勢為光子人工智能和光量子計算開辟了新的研究方向。這項研究為深入探索前沿強化學習算法以及充分利用光子集成芯片實現先進人工智能奠定了基礎。

Nature Communications官網截圖

強化學習（Reinforcement Learning, RL）是機器學習的核心范式之一，在構建通用學習系統（例如ChatGPT等）中發揮著至關重要的作用。然而，傳統電子計算機在模擬強化學習模型中智能體與環境交互的過程中消耗了大量計算資源，對強化學習的效率提出了重大挑戰。為了克服這一難題，研究團隊提出了一個通用框架，利用光子集成芯片（PIC）來模擬強化學習中智能體與環境的交互，以提高算法效率。該項研究結果驗證了在光子集成芯片平臺上模擬強化學習算法交互的有效性，突顯了其在處理大規模和復雜RL任務中提升計算能力的潛力。

圖1 a) 混合架構光子芯片（HyArch PIC）示意圖，由光學幺正網絡結構U和光學點積處理器OCTOPUS組成；b) 基于光子芯片的強化學習（PIC-RL）框架。

研究團隊創新設計的混合架構光子芯片（HyArch PIC）在可擴展性，多功能性以及高速兼容性方面相較于單一集成光計算架構（如SVD網絡和光學線性神經元架構）表現出顯著優勢。在容錯性方面，HyArch PIC相較于SVD網絡具有亞指數級別的優勢，進而支持大規模地片上集成。計算表明，當采用10GHz的高速薄膜鈮酸鋰電光調制器作為調制單元時，128維HyArch PIC的算力能夠超越NVIDIA A100顯卡。將HyArch PIC與高速FPGA和電驅動器集成在單個開發板上，形成高度集成的光電計算板卡，提供了巨大的參數優化空間。174個封裝好電學接口通過「圖靈量子」自主設計的256通道100kHz驅動板卡控制，實現了對HyArch PIC上全部87個通道的任意編程重構。通過全局參數優化和鏈路校準，HyArch PIC可高精度完成高達15維光學點積操作，確保后續復雜RL算法在光子芯片上的有效執行。

圖2 基于HyArch PIC芯片光電計算系統的實驗展示。a) 光電集成計算板卡的架構展示；b）光電集成計算板卡實物圖；c) HyArch PIC顯微圖片；d)~g) HyArch PIC的測試結果。

為了驗證PIC-RL框架的有效性，研究團隊首先進行了基于懸崖行走環境（cliff walking）的基準測試。在Q-learning算法的基礎上，引入相似度獎勵函數(SRF)相較于恒定獎勵函數(CRF)實現了訓練加速。并且隨著環境規模的擴大，SRF更顯著地實現了指數級別的加速效果。

圖3 基于PIC-RL的懸崖行走任務基準測試。

為了更深入驗證 PIC-RL 的效率和通用性，上海交大研究團隊進一步和「圖靈量子」的材料算法專家討論，共同研究了PIC-RL框架在解決實際問題（二維鈣鈦礦材料合成問題）中的應用。通過對比原始的Ruddlesden-Popper (RP) 相過渡金屬鈣鈦礦硫屬化物Ca?Sn?S?(CSS)，研究團隊發現，當氧元素部分取代硫族陰離子的條件下，衍生產物Ca?Sn?S????O? (CSSOx, x從1到5)表現出更為卓越的光伏性能。類似于高維空間懸崖行走任務，鈣鈦礦材料合成任務的目標是在由所有3472 個CSSOx 衍生結構組成的狀態空間內確定從起始結構到目標結構的最佳合成路線。基于高效的PIC-RL框架，研究團隊成功地在3472維狀態空間內完成了鈣鈦礦材料合成的強化學習任務，并顯著提升了算法效率(56%的提升)。

圖4 基于PIC-RL的鈣鈦礦材料合成任務求解。a) RP phase CSSOx晶體結構圖及其向量表示；b) CSSOx鈣鈦礦材料最優合成路線；c) 3472個14維結構相似度計算的實驗與數值的對比曲線（σ=0.015）；d) PIC-RL的訓練曲線（綠），相較于傳統CRF-RL算法（灰）實現了56%的訓練加速；e）3472維狀態空間中最優合成路線的t-SNE表示。

在上述研究過程中，「圖靈量子」的光電硬件研發團隊為集成光電計算板卡的軟硬件開發提供了關鍵支持，「圖靈量子」的材料算法專家團隊為項目中鈣鈦礦材料合成方案提供了關鍵的知識支撐以及寶貴的數據。上海交通大學集成量子信息技術研究中心與「圖靈量子」研發團隊緊密合作，深度推動學科交叉和融合發展，是一次產學研結合創新的重要典范。

研究團隊感謝「圖靈量子」、上海交大無錫光子芯片研究院（CHIPX）與上海交大集成量子信息技術技術研究中心（IQIT）的合作。并感謝上海市科委重大項目、國家自然科學基金重點項、國家重點研發計劃、上海市教委的大力支持。上海交通大學集成量子信息技術研究中心博士李軒坤為論文第一作者，金賢敏教授為論文通訊作者。

論文鏈接：

https://www.nature.com/articles/s41467-024-45305-z

文：遠見  閔青云 ；來源：FUTURE遠見微信號