在人機交互領域，一項突破性的研究成果正引領著可穿戴技術的未來。國際期刊《Nature Communications》在線刊發了由華中科技大學、中國科學院上海硅酸鹽研究所、中國科學院大連化學物理研究所等機構的科學家們聯合發表的最新研究成果“Crossmodal sensory neurons based on high performance flexible memristors for human-machine in-sensor computing system”，介紹了一種基于高性能柔性VO2憶阻器的跨模態感覺神經元（CSSN），這項技術有望極大地提升人機交互系統的性能，為可穿戴人機交互系統的發展提供了新的可能性。

 01  
 跨模態感知的重要性  

在現實世界中，我們通過視覺、聽覺、觸覺等多種感官來感知環境并與之互動。同樣，機器人和智能設備若要在復雜環境中自如地工作，也需要具備類似的多模態感知能力。例如，在搜索救援、醫療手術或深海探索等任務中，機器人需要能夠識別和處理各種信息，如物體的形狀、質地、溫度等，以做出準確的判斷和反應。然而，現有的技術往往依賴于多個分離的傳感器和復雜的數據處理系統，這不僅增加了系統的復雜性，也限制了其靈活性和效率。

Fig. 1 | Bio-inspired crossmodal intelligent in-sensor computing system.

 02  
 憶阻器的創新應用  

為了解決這一問題，科學家們將目光投向了憶阻器這一新興的電子元件。憶阻器，作為電路的第四種基本元件，因其獨特的記憶功能和非線性特性，成為了實現這一目標的關鍵。在這項研究中，科學家們利用柔性VO2憶阻器，成功構建了一種新型的跨模態感覺神經元（CSSN），它能夠模擬人類神經元的工作方式，將感知到的壓力和溫度信息轉換為電信號。

這種CSSN的設計靈感來源于人類的感覺神經系統，它通過高度集成的電路模擬了人類神經元的尖峰編碼機制。圖1所示，CSSN由柔性VO2憶阻器和壓阻傳感器組成，能夠實時響應外部刺激，產生類似于生物神經元的尖峰信號。這種信號的頻率和幅度隨著刺激的強度而變化，從而實現了對多模態信號的編碼。

在實現CSSN的過程中，研究團隊面臨著如何制造出既具有良好的電學性能，又能夠適應各種工作環境的柔性憶阻器的挑戰。為了克服這一難題，科學家們采用了一種創新的制造工藝，成功地將VO2薄膜的沉積溫度降低至280°C，同時保持了材料的高性能。這種柔性VO2憶阻器展現出了卓越的耐久性，能夠承受超過1012次的循環測試，且在循環間和設備間的一致性方面表現優異。

Fig. 2 | Structure and electrical characterization of the flexible VO2 memristor.

圖2所示，柔性VO2憶阻器在不同的彎曲半徑下均能保持穩定的閾值開關特性，證明了其出色的機械柔性。此外，它的響應速度極快，小于30納秒，這意味著CSSN能夠以極高的速度處理感知到的信息，滿足實時交互的需求。

 04  
 溫度和壓力感應及編碼特性  

CSSN的核心功能之一是能夠同步編碼溫度和壓力信息。通過精確控制電路參數，并對不同的溫度和壓力變化做出響應，產生不同頻率的尖峰信號。這種編碼機制不僅能夠提高信號的傳輸效率，還能夠減少信息在傳輸過程中的損失和干擾。

Fig. 3 | Temperature and pressure sensing and encoding characteristics of the artificial spiking sensory neuron.

CSSN在不同的溫度和壓力條件下均能產生穩定的尖峰信號（圖3所示）。隨著溫度的升高，CSSN的尖峰頻率增加，而電壓幅度降低，與人類皮膚對溫度變化的感知方式相似。同樣，隨著壓力的增加，CSSN的尖峰頻率也增加，模擬了人類對觸覺刺激的響應。

這種跨模態的感知和編碼能力，使得CSSN在實時監測和數據處理方面具有巨大的潛力。例如，在醫療健康監測領域，CSSN可以用于實時監測患者的體溫和血壓變化，為醫生提供重要的生理信息。在環境感知方面，CSSN可以用于監測環境溫度和壓力變化，為環境監測和災害預警提供技術支持。

 05  
 柔性跨模態傳感器內編碼和觸覺反饋系統  

在人機交互的探索中，如何讓機器理解并模擬人類的觸覺反應一直是一個挑戰。為了實現這一目標，研究團隊開發了一種柔性跨模態傳感器內編碼和觸覺反饋系統，該系統能夠將感知到的外部刺激轉化為機器人可以理解的信號，從而實現更加自然和直觀的交互。

Fig. 4 | Crossmodal in-sensor encoding and haptic-feedback for human machine interaction.

該系統的核心CSSN，不僅能夠編碼壓力和溫度信息，還能夠通過集成的硬件實現實時的觸覺反饋。如圖4所示，CSSN與機器人手相連，能夠模擬人類的抓握和避障行為。當系統檢測到溫和的觸摸時，CSSN產生低頻的尖峰信號，指示機器人手輕柔地抓取物體；而當系統檢測到高溫或強烈的壓力時，CSSN則產生高頻的尖峰信號，觸發機器人手的避障反應，以防止潛在的傷害。

這種柔性系統的開發，不僅提高了機器人對環境的適應能力，也為機器人提供了更加復雜和精細的操作能力。例如，在醫療手術中，這種系統可以幫助機器人更精確地感知手術區域的溫度和壓力變化，從而提高手術的安全性和效果。

 06  
 跨模態傳感器內尖峰儲備計算系統  

為了進一步提升系統的智能處理能力，研究者們構建了一個跨模態尖峰儲備計算系統。該系統利用CSSN作為感覺層，直接將感知到的多模態信息編碼成尖峰序列，并傳遞給尖峰儲備層進行處理和分類。

Fig. 5 | Crossmodal in-sensor spiking reservoir computing for object recogni tion and feedback.

該系統通過模擬大腦的神經網絡，實現了對動態物體的快速準確識別（圖5）。在實驗中，系統能夠準確地識別出不同形狀和大小的物體，即使在部分感知信息丟失或受到噪聲干擾的情況下，系統依然能夠保持較高的識別準確率。

這一跨模態傳感器內尖峰儲備計算系統的成功構建，不僅展示了CSSN在處理復雜信息方面的強大能力，也為未來智能設備的發展提供了新的可能性。例如，在自動駕駛領域，這種系統可以幫助車輛更準確地感知和理解周圍環境，提高自動駕駛的安全性和可靠性。

隨著技術的不斷進步，基于CSSN的柔性電子設備在智能機器人、健康監測、環境感知等多個領域的應用前景廣闊。這些設備不僅能夠提供更加自然和直觀的交互體驗，還能夠在各種復雜環境中穩定工作，為人類社會的發展帶來更多的便利和福祉。

科學家們相信，隨著研究的深入和技術的成熟，CSSN將在未來的人機交互領域發揮越來越重要的作用。從醫療健康監測到環境感知，從智能機器人到自動駕駛，CSSN的應用將極大地擴展智能設備的能力和范圍，為人類帶來更加智能化和個性化的生活體驗。

參考資料：

[2] Chortos, A., Liu, J. & Bao, Z. Pursuing prosthetic electronic skin. Nat. Mater. 15, 937–950 (2016).

[3]  Mittendorfer, P. & Cheng, G. Humanoid multimodal tactile-sensing modules. IEEE Trans. Robot. 27, 401–410 (2011).

[4] Liu, M. et al. A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments. Nat. Commun. 13, 79 (2022).

[5] Wang, M. et al. Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors. Nat. Electron. 3, 563–570 (2020).

[6] Pei, J. et al. Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature 572, 106–111 (2019).

[7] Yu, F. et al. Brain-inspired multimodal hybrid neural network for  robot place recognition. Sci. Robot. 8, eabm6996 (2023).

[8] Li, Z., Li, Z., Tang, W., Yao, J., Dou, Z., Gong, J., Li, Y., Zhang, B., Dong, Y., Xia, J., Sun, L., Jiang, P., Cao, X., Yang, R., Miao, X., & Yang, R. (2024). Crossmodal sensory neurons based on high-performance flexible memristors for human-machine in-sensor computing system. Nature Communications, 15, 7275. https://doi.org/10.1038/s41467-024-51609-x