腦卒中是威脅人類健康的全球性腦血管疾病之一，大多數幸存者由于神經傳遞通路受損，會留下不同程度的肢體活動障礙，嚴重影響其正常生活。幸運的是，長期和重復的運動被認為是一種有效的策略，可以通過逐漸加強偏癱區域的肌肉活動來改善病情，從而使患者最終康復。而傳統的被動康復方法需要訓練有素的醫務人員，費用昂貴且供不應求，特別是在COVID-19大流行期間。因此，人們提出了各種外骨骼康復機器人來輔助患者進行重復性運動，與手動模式相比，可以更好地保證在長期康復訓練中對每次重復性運動的頻率和強度進行精確控制，從而在醫院得到廣泛應用。然而，被動康復的效果較差，因為無法形成從意圖到執行的封閉神經回路。近年來，主動康復策略被提出，將康復機器人與先進的人機交互(HMI)技術相結合，通過預先獲取患者的運動意圖，使患者主動參與康復訓練。對于主動康復，其基礎是通過精確和靈活的傳感器實時采集人體肌肉運動信號。
研究人員已經證明，通過將表皮電極應用于特定身體部位的表皮，肌電圖(EMG)和腦電圖(EEG)等電生理信號可用于識別人體運動意圖。與EEG相比，EMG信號更容易采集和處理，更適合用于主動康復。而基于EMG信號的人體運動意圖識別還存在兩個主要挑戰。一是由于運動偽影的存在，高信噪比的表面EMG信號的采集很困難。用于采集EMG信號的表皮電極需要高導電性，并與皮膚緊密保形接觸，以實現低電極-皮膚界面阻抗，這是獲取高質量EMG信號的關鍵。二是從單通道EMG信號中提取的特征變量不足以有效區分多個動作，導致識別準確率較低。而又因為EMG在體表以電信號的形式傳播，故而多通道的EMG人機交互系統的不同通道之間的信號存在較大冗余，故而提高通道數量對于準確率的提升有限。除了EMG信號外，肌力圖(FMG)是另一種重要的肌肉活動信號，是比EMG信號更平穩的信號。集成來自同一肌肉區域的EMG信號和FMG信號的人機界面有可能提高人機交互的效率和準確性。
具有三維網絡結構的富水凝膠具有類似皮膚的機械性能、導電性、生物相容性、低成本和多刺激響應性，使其成為人機界面中有希望的柔性傳感材料。在制備表皮電極時，尤其需要對水凝膠的粘附性能進行優化，以期在發生出汗的情況下，也能在水凝膠與生物皮膚之間構建一個無縫、適形、長期穩定的界面。一般來說，可以通過在網絡中引入粘合成分和官能團來增強水凝膠的自粘性。受水生生物的啟發，在水凝膠中引入富含兒茶酚基團的物質將是在水環境中實現粘附的有效策略，并且水凝膠有望長時間粘附在皮膚表面。此外，用一般的水凝膠監測微小的FMG信號是極具挑戰性的。這是由于在沒有其他機制參與的情況下，固體水凝膠在小變形下離子傳輸途徑的變化可以忽略不計，從而導致壓力響應性差。因此迫切需要進一步開發更高性能的水凝膠壓力傳感器。同時，對于人機界面的信號處理和傳輸模塊，還需要設計一種小尺寸、低功耗的柔性印刷電路板(FPCB)，將包括傳感器在內的各種電子元件集成在柔性基板上，以保證整個人機交互系統的可穿戴性。
為了解決這些挑戰，中山大學吳進團隊和西北工業大學陶凱團隊在前期水凝膠柔性智能傳感器的系列研究工作的基礎上（Nature Communication 2023, 14, 5221; Advanced Functional Materials 2023, 33，2300046； Advanced Functional Materials 2023, 2308280；ACS Nano 2023, 17，16160；Nano-Micro Letters 2022, 14, 52；Nano-Micro Letters 2022, 14，183；Advanced Science 2022, 9，2104168；Nano-Micro Letters 2023, 15, 136；Advanced Science 2023, 10, 2205632；SmartMat 2023，4，e1141；SmartMat 2023, 4, e1147），合作開發出一種智能康復HMI系統，該系統結合了多模態傳感模塊和人工智能(AI)算法，實現了高精度的動作意圖解碼，以驅動機器人的操作。該多模態傳感模塊由高導電性、可拉伸性、自粘性和生物相容性的單寧酸(TA)改性聚丙烯酰胺(PAM)水凝膠基表皮電極和基于大孔水凝膠結構(Foam-PAM)的高靈敏度壓力傳感器組成。同時，設計了靈活、小尺寸、輕量化的FPCB，用于后續的信號調理、處理和無線傳輸，與傳感器模塊形成理想的可穿戴HMI接口，并將數據傳輸至服務器。服務器對信號進行分割、特征提取、AI算法分類識別，提取運動意圖，形成相應的控制命令。與傳統的多通道EMG信號相比，基于EMG信號和FMG信號聯合的多模態人機交互方法通過增加交互信號的信息熵，顯著提高了人機交互效率。對于不同手勢，單通道交互信號的解碼準確率達到91.28%，遠高于Double-EMG模型的解碼準確率(48.89%)。進一步應用開發的智能人機界面系統控制機器人手套，實現人類主動運動意圖參與的主動康復訓練，驗證了系統的可行性。此外，還演示了該系統對機械手、智能汽車、無人機等其他遙感平臺的手勢控制。本工為下一代多模態自然人機交互系統的設計提出了一種新的、簡單的策略，實現了一種更加智能、高效、便捷的交互方式。相關工作以“High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human–Machine Interaction System for Active Rehabilitation”為題發表在Advanced Materials上。通訊作者為中山大學吳進副教授和西北工業大學陶凱副教授。第一作者為中山大學電子與信息工程學院博士生王浩和丁瓊玲。
圖1. 可穿戴人機交互界面設計。(a)基于水凝膠的EMG和壓力傳感器支持的可穿戴HMI界面和相應的AI輔助智能主動康復機器人系統示意圖，在人機應用中具有廣泛的應用前景。(b)自行設計的FPCB多層結構示意圖。(c)顯示FPCB與人體皮膚彎曲和保形接觸的照片(i)HMI的正面圖(ii)和傳感器在HMI上的分布(iii)。(d) NaCl-TA-PAM水凝膠和(e) Foam-PAM水凝膠的制備策略示意圖。
圖2. 水凝膠傳感材料的表征。(a)上圖:剝離力試驗示意圖;下圖為PAM、TA-PAM和NaCl-TA-PAM水凝膠在不同基質上粘附時的剝離力與位移曲線。(b)上圖:照片顯示NaCl-TA-PAM水凝膠(用紅色圓圈標出)牢固地粘附在各種材料上:金屬、塑料和玻璃。下圖為NaCl-TA-PAM水凝膠在不同基質上的粘附強度。(c) NaCl-TA-PAM水凝膠的水下粘附。(d) NaCl-TA-PAM水凝膠粘附在人皮膚和濕潤的豬皮上的照片，以及NaCl-TA-PAM水凝膠與豬皮無縫共形接觸的顯微鏡照片。(e) TA-PAM水凝膠、NaCl-TA-PAM水凝膠和商用電極的阻抗比較。(f) Form-PAM水凝膠的照片和光學顯微鏡圖像。(g)原始PAM(左)和Form-PAM(右)水凝膠的SEM圖像。
圖3. NaCl-TA-PAM水凝膠和Foam-PAM的傳感性能表征。(a) ECG、EMG、EOG檢測的電極附著位置。NaCl-TA-PAM水凝膠采集的(b)EMG信號和(c)EOG信號波形。(d)商用電極和NaCl-TA-PAM水凝膠采集的心電信號波形。(e)商用電極與NaCl-TA-PAM水凝膠獲得的心電信號的峰峰值和信噪比比較。(f)實時阻力隨細微壓力的變化而變化。(g)阻力對壓力的響應。(h) Foam-PAM水凝膠壓力傳感器的傳感機理示意圖，包括施加壓力后由于孔隙逐漸閉合導致的導電路徑縮短和導電通道增加。(i)加壓前(左)和加壓后(右) Foam-PAM水凝膠的光學顯微圖像。(j)傳感器響應和恢復時間快。(k)傳感器在不同頻率(0.2、0.4、0.8、1.6 Hz)下對285 Pa壓力的電阻響應。(l) 300 Pa壓力下300次循環的動態電阻變化。(m)最先進的基于水凝膠的壓力傳感器在靈敏度、響應/恢復時間和LOD方面的能力雷達圖。
圖4. 人工智能輔助的行為意圖識別。(a)不同動作意圖(手勢拳、ok、一、三、五從上到下)下的EMG和FMG信號。(b)動作意圖解碼精度算法流程圖。使用各種算法對從人機界面傳輸的數據進行分割、特征提取、分類和識別。(c)EMG模型與EMG-FMG模型PCA圖比較。(d)EMG模型與Double-EMG模型PCA圖比較。(e) )EMG模型與EMG-FMG模型動作意圖解碼預測概率分布的比較。(f) EMG模型與Double-EMG模型解碼的動作意圖預測概率分布的比較。(g) EMG模型、EMG-FMG模型、Double-EMG模型動作意圖解碼準確率的比較。
圖5. 主動康復等應用人機交互系統建設與示范。(a)用于主動康復或其他HMI應用的閉環可穿戴HMI系統工作流程圖。(b)照片顯示，所使用的康復手套可以輔助手在人類動作意圖的驅動下進行相應的動作，表明該系統在主動康復中的可行性。(c) EMG-PP與握力的關系。(d)示范遠程監測運動信號。HMI接口采集的信號可以直接上傳到云端，讓醫生遠程診斷，并為患者下一步的康復治療提供建議。
論文信息：H. Wang, Q. Ding, Y. Luo, Z. Wu, J. Yu, H. Chen, Y. Zhou, H. Zhang, K. Tao*, X. Chen, J. Fu, J. Wu*, High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human-Machine Interaction System for Active Rehabilitation. Adv. Mater. 2023,2309868.
原文鏈接：https://doi.org/10.1002/adma.202309868
下載：High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human-Machine Interaction System for Active Rehabilitation
