【中科院＆香港大學(xué):使用新方法進(jìn)行多任務(wù)學(xué)習(xí)的可穿戴傳感器內(nèi)儲層計算】

傳感器內(nèi)多任務(wù)學(xué)習(xí)不僅是生物視覺的關(guān)鍵優(yōu)點，也是人工智能的主要目標(biāo)。然而，傳統(tǒng)的硅視覺芯片存在大量時間以及能量開銷。此外，訓(xùn)練傳統(tǒng)的深度學(xué)習(xí)模型在邊緣設(shè)備上既不可擴展也不可負(fù)擔(dān)。

在這里，中科院和香港大學(xué)的研究團隊提出了一種材料算法協(xié)同設(shè)計來模擬人類視網(wǎng)膜的學(xué)習(xí)范例，并且低開銷?；诰哂杏行Ъぷ咏怆x和貫穿空間電荷傳輸特性的瓶刷形半導(dǎo)體 p-NDI，開發(fā)了一種基于可穿戴晶體管的動態(tài)傳感器儲層計算系統(tǒng)，該系統(tǒng)在不同任務(wù)上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。

與憶阻有機二極管上的「讀出功能」相結(jié)合，RC 可識別手寫字母和數(shù)字，并對各種服裝進(jìn)行分類，準(zhǔn)確率分別為 98.04%、88.18% 和 91.76%（高于所有已報告的有機半導(dǎo)體）。

除了二維圖像，RC 的時空動態(tài)自然地提取基于事件的視頻的特征，以 98.62% 的準(zhǔn)確率對 3 種類型的手勢進(jìn)行分類。此外，計算成本明顯低于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)。這項工作為經(jīng)濟實惠且高效的光子神經(jīng)形態(tài)系統(tǒng)提供了一種有前途的材料算法協(xié)同設(shè)計。

人類視網(wǎng)膜不僅可以感知，還可以通過收集豐富的動態(tài)信號同時處理光信號，從而加速下游視覺皮層中任務(wù)相關(guān)的學(xué)習(xí)。視網(wǎng)膜和視覺皮層的協(xié)同作用是大腦高效、緊湊和快速學(xué)習(xí)多任務(wù)處理能力的基礎(chǔ)，也是通用人工智能 (AGI) 的基本目標(biāo)。

相比之下，具有物理分離的感測、處理和存儲單元的傳統(tǒng)硅視覺芯片會因這些單元之間大量和頻繁的數(shù)據(jù)穿梭而產(chǎn)生大量時間和能量開銷，以及順序模數(shù)轉(zhuǎn)換，這是潛在能源效率的基本限制。摩爾定律的放緩進(jìn)一步加劇了這種情況。此外，傳統(tǒng)深度學(xué)習(xí)模型中的學(xué)習(xí)，例如時間信號的遞歸神經(jīng)網(wǎng)絡(luò)，在非常具體的任務(wù)上采用乏味的訓(xùn)練（例如，通過時間反向傳播的梯度下降，BPTT），這在電池接入和外形尺寸有限的邊緣設(shè)備上既不可擴展也負(fù)擔(dān)不起。

人們付出了巨大的努力來模擬人類視網(wǎng)膜和負(fù)擔(dān)得起的學(xué)習(xí)范式。材料方面，無機光響應(yīng)二維半導(dǎo)體，例如具有缺陷和雜質(zhì)位點的 MoS2、具有與 Sn 和 S 相關(guān)的雙型缺陷態(tài)的 SnS、層狀含黑磷的氧化相關(guān)缺陷、表現(xiàn)出強光控效應(yīng)的鈣鈦礦量子點 、能夠捕獲和釋放電子的 h-BN/WSe2 異質(zhì)結(jié)構(gòu)和表現(xiàn)出價態(tài)變化的 MoOx 是人工視網(wǎng)膜應(yīng)用泛的材料。另外，具有內(nèi)在生物相容性、可穿戴性和可擴展性的有機半導(dǎo)體，如 PDVT-10、摻雜葉綠素的 PDPP4T 和并五苯/絲和 CDs 雙層，以更忠實的方式模擬了生物對應(yīng)物。

在算法方面，儲層計算 (RC) 通過收集固定動態(tài)系統(tǒng)的衰落記憶將時間信號非線性地投射到特征空間，被認(rèn)為是一種有前途的邊緣學(xué)習(xí)解決方案。由于 RC 的學(xué)習(xí)于長期記憶的讀出層，因此與傳統(tǒng)的深度學(xué)習(xí)模型相比，訓(xùn)練成本顯著降低。然而，它仍然沒有設(shè)計出一種配對的材料算法來結(jié)合高效的人工視網(wǎng)膜和負(fù)擔(dān)得起的基于 RC 的邊緣學(xué)習(xí)，從而釋放仿生神經(jīng)形態(tài)視覺的多任務(wù)潛力。

在這里，中科院和香港大學(xué)的研究人員提出了一種材料算法協(xié)同設(shè)計，一種具有高效激子解離和全空間電荷傳輸特性的光響應(yīng)半導(dǎo)體聚合物 (p-NDI)，以構(gòu)建用于多任務(wù)模式分類的傳感器內(nèi) RC。靈活的神經(jīng)形態(tài)設(shè)備基于具有 p-NDI 半導(dǎo)體通道的三端晶體管。由于其出色的光響應(yīng)行為和非線性衰落記憶，該設(shè)備能夠同時就地感知、記憶和預(yù)處理光學(xué)輸入（即對比度增強和降噪）。

此外，聚合物中激子解離/電荷復(fù)合動力學(xué)、光選通效應(yīng)和貫穿空間電荷傳輸特性之間的協(xié)同作用使得基于晶體管的動態(tài)RC系統(tǒng)在不同任務(wù)上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。這些基于 RC 的視網(wǎng)膜與在憶阻有機離子凝膠二極管上實現(xiàn)的「讀出功能」配對。

所有有機光電材料提供的信號預(yù)處理和動態(tài)RC的協(xié)同功能，在識別手寫字母和數(shù)字以及對各種服裝進(jìn)行分類方面的準(zhǔn)確率，分別達(dá)到 98.04%、88.18% 和 91.76%，這意味著服裝風(fēng)格和尺寸的多任務(wù)學(xué)習(xí)。系統(tǒng)的總體準(zhǔn)確率為 88.00%，不僅可以正確識別衣服，還可以正確識別衣服的尺碼。盡管是 2D 圖像，但 RC 的時空動態(tài)被用來對左手揮手、右手揮手和拍手手勢的基于事件的視頻進(jìn)行分類，準(zhǔn)確率為 98.62%。

不過，這種基于 p-NDI 晶體管的 RC 不含突觸有機電化學(xué)晶體管中廣泛使用的液體電解質(zhì)，從而增強了可擴展性和可操作性。這項工作為具有多任務(wù)學(xué)習(xí)能力的可穿戴、價格合理且高效的光子神經(jīng)形態(tài)系統(tǒng)提供了一種有前途的材料-算法協(xié)同設(shè)計策略。