多模態(tài)觸覺感知通過模擬人類皮膚的多元感知功能,使智能系統(tǒng)能夠準(zhǔn)確解析復(fù)雜環(huán)境信息,在仿生假肢、可穿戴健康監(jiān)測(cè)和人機(jī)交互等領(lǐng)域發(fā)揮著關(guān)鍵作用。雖然當(dāng)前多模態(tài)觸覺系統(tǒng)在檢測(cè)模態(tài)多樣化(溫度、形變、壓力、接近度等)和功能特性增強(qiáng)(自修復(fù)、自供能等)等方面取得重要進(jìn)展,但現(xiàn)有系統(tǒng)仍面臨解耦范圍不足的問題,這主要受限于兩大關(guān)鍵因素:1)傳感器件的感知性能不足;2)傳感器件的解耦策略局限。
針對(duì)上述問題,浙江大學(xué)機(jī)械工程學(xué)院楊賡課題組提出了一種機(jī)器學(xué)習(xí)增強(qiáng)的模塊化離子皮膚,通過傳感材料和解耦策略的協(xié)同優(yōu)化實(shí)現(xiàn)了寬譜多模態(tài)解耦。國際知名學(xué)術(shù)期刊《Advanced Materials》以“Machine Learning-Enhanced Modular Ionic Skin for Broad-Spectrum Multimodal Discriminability in Bidirectional Human–Robot Interaction”為題報(bào)道了該項(xiàng)成果。楊倩倩博士為論文第一作者,楊賡研究員和徐凱臣研究員為論文通訊作者,均來自楊華勇院士團(tuán)隊(duì)。本研究工作得到中國電子學(xué)會(huì)-騰訊RoboticsX犀牛鳥專項(xiàng)研究計(jì)劃、東方電氣集團(tuán)-浙江大學(xué)聯(lián)合創(chuàng)新研究院的資助,國家自然科學(xué)基金(No. 52375031, 52475610)、浙江省自然科學(xué)基金(LDQ24E050001)、浙江省科技廳“尖兵”“領(lǐng)雁”研發(fā)攻關(guān)計(jì)劃(No. 2023C01045, 2023C03007)、浙江省科技廳“尖兵領(lǐng)雁+X”研發(fā)攻關(guān)計(jì)劃(No. 2024C04057(CSJ))的支持。
1.研究背景及意義
多模態(tài)觸覺感知通過模擬人類皮膚的多元感知功能,為智能系統(tǒng)解析復(fù)雜環(huán)境信號(hào)提供了關(guān)鍵技術(shù)支持。雖然當(dāng)前多模態(tài)觸覺系統(tǒng)在模態(tài)數(shù)量與功能集成方面取得顯著進(jìn)展,但其解耦感知范圍受限仍是亟待突破的瓶頸問題。現(xiàn)有拓寬解耦范圍的研究主要沿兩個(gè)獨(dú)立方向展開:感知性能提升與解耦策略開發(fā)。在感知性能增強(qiáng)方面,主流方法包括:(1)新型功能材料開發(fā);(2)表面微結(jié)構(gòu)工程。盡管這些方法可顯著改善器件性能,但復(fù)雜的制備工藝及較差的機(jī)械/界面穩(wěn)定性制約了其實(shí)際應(yīng)用。相比之下,通過材料組分調(diào)控實(shí)現(xiàn)多模態(tài)性能優(yōu)化的策略雖具有工藝簡(jiǎn)便、參數(shù)可調(diào)等優(yōu)勢(shì),卻鮮見系統(tǒng)研究。解耦策略研究主要聚焦三類方法:(1)選擇性傳感材料設(shè)計(jì);(2)抗干擾器件架構(gòu);(3)數(shù)學(xué)建模解耦。然而,這些方法通常僅適用于特定信號(hào)關(guān)系或有限傳感范圍,難以實(shí)現(xiàn)廣譜解耦。與基于先驗(yàn)條件的傳統(tǒng)解耦方法相比,數(shù)據(jù)驅(qū)動(dòng)策略更能適應(yīng)模態(tài)間的復(fù)雜非線性耦合,展現(xiàn)出顯著優(yōu)勢(shì)。值得注意的是,拓寬解耦范圍本質(zhì)上需要感知性能與解耦策略的系統(tǒng)級(jí)協(xié)同優(yōu)化,但現(xiàn)有研究尚未建立有效的協(xié)同優(yōu)化機(jī)制。
針對(duì)這一研究空白,本研究開發(fā)了基于機(jī)器學(xué)習(xí)增強(qiáng)的多模態(tài)模塊化離子皮膚系統(tǒng)。通過傳感材料與解耦算法的協(xié)同優(yōu)化,系統(tǒng)實(shí)現(xiàn)了寬譜多模態(tài)信號(hào)的高效解耦。如圖1a所示,該系統(tǒng)具有優(yōu)異的可配置性,可模塊化集成于手勢(shì)識(shí)別可穿戴手部套件和機(jī)器人觸覺感知夾爪套件。系統(tǒng)架構(gòu)(圖1b)包含三類優(yōu)化設(shè)計(jì)的離子導(dǎo)體模塊:溫度感知模塊(TSC)、應(yīng)變感知模塊(SSC)和壓力感知模塊(PSC),展現(xiàn)出卓越的三模態(tài)感知性能。為解決傳統(tǒng)離子皮膚的熱耦合難題,他們采用長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)算法,通過定制化多模態(tài)耦合數(shù)據(jù)集訓(xùn)練,創(chuàng)新性地構(gòu)建了高效的數(shù)據(jù)驅(qū)動(dòng)解耦模型(圖1c)。這種模塊化離子皮膚與數(shù)據(jù)驅(qū)動(dòng)解耦模型的有機(jī)結(jié)合,形成了一套完整的器件-算法協(xié)同優(yōu)化方案(圖1d)。為量化評(píng)估系統(tǒng)性能,本研究首次提出"解耦感知長(zhǎng)度"評(píng)價(jià)指標(biāo)(圖1e)。實(shí)驗(yàn)結(jié)果表明,該指標(biāo)較15種現(xiàn)有多模態(tài)系統(tǒng)提升顯著,充分驗(yàn)證了協(xié)同優(yōu)化策略在拓展多模態(tài)解耦范圍方面的獨(dú)特優(yōu)勢(shì)。
圖1. 機(jī)器學(xué)習(xí)增強(qiáng)的模塊化離子皮膚實(shí)現(xiàn)人機(jī)交互的寬譜多模態(tài)解耦
2. 討論
2.1. 一維、二維和三維離子導(dǎo)體的制備與優(yōu)化
圖2展示了一維離子導(dǎo)體(1D-IC)、二維離子導(dǎo)體(2D-IC)和三維離子導(dǎo)體(3D-IC)的制備與表征結(jié)果。圖2a展示了通過磁力攪拌制備均質(zhì)離子凝膠溶液,并采用三種不同工藝獲得相應(yīng)導(dǎo)體:熱固化制備的1D-IC呈現(xiàn)硬段聚集相結(jié)構(gòu);熱固化結(jié)合雙向拉伸制備的2D-IC顯示硬段斷裂特征;濕化工藝制備的3D-IC則實(shí)現(xiàn)硬段消除結(jié)構(gòu)。圖2b展示了三類導(dǎo)體的實(shí)物形貌對(duì)比。微觀結(jié)構(gòu)表征顯示,3D-IC的SEM圖像(圖2c)證實(shí)溶劑含量對(duì)其形貌的調(diào)控作用。力學(xué)性能測(cè)試表明,2D-IC展現(xiàn)出優(yōu)異的拉伸性能(圖2d),而3D-IC則表現(xiàn)出良好的壓縮特性(圖2e)。拉曼光譜分析(圖2f)在2800-3800 cm?1范圍內(nèi)觀察到C-H和N-H伸縮振動(dòng)峰強(qiáng)度從一維離子導(dǎo)體到三維離子導(dǎo)體逐漸降低。功能測(cè)試結(jié)果顯示,不同原料配比的1D-IC在10-160℃范圍內(nèi)表現(xiàn)出溫度響應(yīng)特性(圖2g),其分段線性溫度系數(shù)在10-20℃范圍呈現(xiàn)最低值(圖2h);2D-IC通過雙向拉伸處理提升了應(yīng)變系數(shù)(圖2i),且應(yīng)變感知性能可通過配比優(yōu)化(圖2j);3D-IC的壓容響應(yīng)能力與溶劑含量密切相關(guān)(圖2k),同時(shí)展現(xiàn)出良好的機(jī)械耐久性(圖2l)。
圖2. 一維、二維及三維離子導(dǎo)體的制備與優(yōu)化
2.2. 三模態(tài)感知模塊的設(shè)計(jì)與表征
TSC、SSC和PSC分別基于1D-IC、2D-IC和3D-IC材料構(gòu)建,其TPU:IL:DMAC配比分別為1:3:4、1:1:4和1:1:7。圖3a展示了三模態(tài)感知模塊的結(jié)構(gòu)設(shè)計(jì)。圖3b詳細(xì)闡明了TSC、SSC和PSC三種模塊的工作原理。針對(duì)PSC模塊,圖3c通過力學(xué)仿真驗(yàn)證了蛇形網(wǎng)絡(luò)電極結(jié)構(gòu)的優(yōu)勢(shì)。性能測(cè)試結(jié)果顯示:TSC模塊在10-160°C范圍內(nèi)表現(xiàn)出穩(wěn)定的電阻響應(yīng)(圖3d),并在14-116°C溫度循環(huán)17小時(shí)后仍保持正常工作(圖3e);SSC模塊的五個(gè)樣品在0-50%應(yīng)變范圍內(nèi)呈現(xiàn)高度一致的電阻響應(yīng)(圖3f);PSC模塊在0-1300kPa范圍內(nèi)展現(xiàn)出良好的電容變化特性(圖3g),并在動(dòng)態(tài)循環(huán)加載下保持穩(wěn)定響應(yīng)(圖3h)。此外,圖3i證實(shí)PSC模塊的蛇形網(wǎng)絡(luò)電極設(shè)計(jì)不僅提升了機(jī)械耐久性,還具備優(yōu)異的損傷容錯(cuò)能力。
圖3. 三模態(tài)感知模塊的設(shè)計(jì)與表征
2.3. 模塊化離子皮膚的數(shù)據(jù)驅(qū)動(dòng)解耦策略
圖4展示了多模態(tài)感知中的熱耦合現(xiàn)象及其解耦方案。圖4a揭示了SSC和PSC模塊存在的熱耦合效應(yīng):SSC模塊電阻隨溫度升高而降低,而PSC模塊電容則隨之增大。為消除溫度干擾,本研究設(shè)計(jì)了專用解耦模型并構(gòu)建了多模態(tài)訓(xùn)練數(shù)據(jù)集(圖4b-4d)。提出的數(shù)據(jù)驅(qū)動(dòng)解耦模型(圖4e)包含三個(gè)獨(dú)立子模型,分別針對(duì)TSC、SSC和PSC模塊。性能評(píng)估顯示:1)解耦范圍方面,相比15項(xiàng)現(xiàn)有研究,本方案實(shí)現(xiàn)了更優(yōu)的溫度解耦范圍(ΔT=100°C)和壓力解耦范圍(ΔP=400kPa),以及中等的應(yīng)變解耦范圍(Δε=30%)(圖4f);2)預(yù)測(cè)精度方面,模型對(duì)溫度、應(yīng)變和壓力的相對(duì)預(yù)測(cè)誤差分別小于5.8%、15.0%和7.0%(圖4g);3)實(shí)時(shí)性能方面,325秒連續(xù)測(cè)試中溫度預(yù)測(cè)誤差<1°C,應(yīng)變和壓力預(yù)測(cè)值與實(shí)測(cè)值高度吻合(圖4h-4j)。此外,圖4k-4m展示了三個(gè)子模型的算法優(yōu)選過程。
圖4. 基于多刺激數(shù)據(jù)集和LSTM算法的數(shù)據(jù)驅(qū)動(dòng)解耦策略
2.4. 模塊化離子皮膚應(yīng)用于健康監(jiān)測(cè)
圖5展示了基于離子導(dǎo)體的多模態(tài)生理信號(hào)監(jiān)測(cè)系統(tǒng)。1D-IC、2D-IC和3D-IC分別實(shí)現(xiàn)了對(duì)溫度、應(yīng)變和壓力的靈敏響應(yīng)(圖5a),成功應(yīng)用于表皮溫度、腕部角度和脈搏速率監(jiān)測(cè)。具體而言:2D-IC應(yīng)變傳感器可準(zhǔn)確識(shí)別不同腕部彎曲角度(圖5b);3D-IC壓力傳感器能可靠檢測(cè)脈搏信號(hào)并計(jì)算脈搏頻率(圖5c);1D-IC溫度傳感器不僅能監(jiān)測(cè)環(huán)境氣流引起的皮膚溫度變化(圖5d),還可追蹤受試者運(yùn)動(dòng)狀態(tài)(騎行/靜息)下的體溫波動(dòng)(圖5e),同時(shí)展現(xiàn)出優(yōu)異的抗彎曲干擾能力(圖5f)。此外,開發(fā)的集成化雙模態(tài)腕帶(圖5g-5i)結(jié)合TSC和SSC模塊,在解耦模型輔助下實(shí)現(xiàn)了手腕溫度和角度的實(shí)時(shí)同步監(jiān)測(cè)。
圖5. 一維二維/三維離子導(dǎo)體應(yīng)用于人體健康監(jiān)測(cè)
2.5. 模塊化離子皮膚應(yīng)用于機(jī)器人控制
圖6展示了模塊化離子皮膚在機(jī)器人控制中的應(yīng)用。基于可穿戴手部套件的系統(tǒng)(圖6a)成功實(shí)現(xiàn)了變溫環(huán)境下的機(jī)器人雞蛋抓取任務(wù),圖6b詳細(xì)展示了操作過程中的關(guān)鍵步驟以及五個(gè)關(guān)鍵檢測(cè)量的實(shí)時(shí)輸出數(shù)據(jù)。解耦模型效能驗(yàn)證實(shí)驗(yàn)表明:在無解耦模型條件下(圖6c),手腕彎曲預(yù)測(cè)值受溫度降低干擾,導(dǎo)致機(jī)器人出現(xiàn)抓取力過大和釋放開合度不足的問題;而采用數(shù)據(jù)驅(qū)動(dòng)解耦模型后(圖6d),系統(tǒng)能有效抑制溫度干擾,實(shí)現(xiàn)精確的抓取力控制。對(duì)比實(shí)驗(yàn)證實(shí)了解耦模型在復(fù)雜環(huán)境中的穩(wěn)定性優(yōu)勢(shì)。
圖6. 機(jī)器學(xué)習(xí)輔助的可穿戴手部套件應(yīng)用于機(jī)器人控制
2.6. 模塊化離子皮膚應(yīng)用于機(jī)器人感知反饋
圖7展示了基于模塊化離子皮膚的機(jī)器人夾爪感知系統(tǒng)。為評(píng)估系統(tǒng)精度,將模型預(yù)測(cè)值與商用傳感器進(jìn)行對(duì)比(圖7a)。實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)顯示(圖7b):溫度預(yù)測(cè)均值23.6℃(實(shí)測(cè)22.2℃),壓力預(yù)測(cè)峰值分別為10.2kPa、20.3kPa、44.7kPa和82.6kPa(對(duì)應(yīng)實(shí)測(cè)值7.6kPa、23.1kPa、46.9kPa和77.7kPa),表明系統(tǒng)具有可靠的雙模態(tài)預(yù)測(cè)能力。集成演示中(圖7c),配備溫度/壓力感知模塊的機(jī)械夾爪成功完成倒水任務(wù)(圖7d),執(zhí)行過程中各傳感參數(shù)變化曲線(圖7e)準(zhǔn)確反映了機(jī)器人與環(huán)境的交互狀態(tài),驗(yàn)證了該感知系統(tǒng)的實(shí)用價(jià)值。
圖7. 機(jī)器學(xué)習(xí)增強(qiáng)的機(jī)器人夾爪套件應(yīng)用于機(jī)器人感知
3. 總結(jié)
本研究提出了一種基于機(jī)器學(xué)習(xí)增強(qiáng)的模塊化離子皮膚系統(tǒng),通過材料與算法的協(xié)同優(yōu)化實(shí)現(xiàn)了寬譜多模態(tài)信號(hào)解耦。在材料設(shè)計(jì)方面,通過精準(zhǔn)調(diào)控聚合物硬段結(jié)構(gòu),成功開發(fā)了三種功能化離子導(dǎo)體:1D-IC具有-4.00%·℃?1(10-160℃)的超低溫度系數(shù),2D-IC展現(xiàn)2.95(0-100%)的線性應(yīng)變響應(yīng),3D-IC則實(shí)現(xiàn)80.5 kPa?1(0-1.3 MPa)的高壓力靈敏度。基于這三種離子導(dǎo)體構(gòu)建的多模態(tài)感知模塊展現(xiàn)出卓越的傳感性能。在算法層面,創(chuàng)新的數(shù)據(jù)驅(qū)動(dòng)解耦模型有效建立了多模態(tài)刺激與響應(yīng)間的非線性映射,實(shí)現(xiàn)了溫度與壓力信號(hào)的最大解耦范圍(預(yù)測(cè)誤差≤7.0%),同時(shí)保持應(yīng)變檢測(cè)的抗溫度干擾能力。系統(tǒng)性能評(píng)價(jià)表明,以"解耦感知長(zhǎng)度"為指標(biāo),本方案較現(xiàn)有15種系統(tǒng)提升顯著。實(shí)際應(yīng)用驗(yàn)證包括:1)健康監(jiān)測(cè)(表皮溫度、腕部角度和脈搏信號(hào)檢測(cè));2)人機(jī)交互(可穿戴手部控制套件和機(jī)器人夾爪系統(tǒng))。這些成果充分展示了該系統(tǒng)在智能感知領(lǐng)域的應(yīng)用潛力。
原文鏈接(可免費(fèi)下載):https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202508795
- 魯東大學(xué)徐文龍 Small:機(jī)器學(xué)習(xí)輔助的表面活性劑增強(qiáng)型抗溶脹水凝膠柔性傳感器用于水下手勢(shì)識(shí)別 2025-05-26
- 天大封偉教授團(tuán)隊(duì) Adv. Mater.:當(dāng)仿生設(shè)計(jì)遇見機(jī)器學(xué)習(xí) - 未來智能熱管理材料 2025-05-17
- 中科院長(zhǎng)春應(yīng)化所 AM: 發(fā)明“機(jī)器學(xué)習(xí)增強(qiáng)試錯(cuò)法” - 實(shí)現(xiàn)橡膠配方高效、極限優(yōu)化,已應(yīng)用于高技術(shù)裝備制造 2025-03-14
- 武大常春雨、寧波材料所陳濤/魏俊杰《Adv. Mater.》:面向超靈敏自供電離子皮膚的電場(chǎng)誘導(dǎo)雙梯度水凝膠離子二極管 2025-04-03
- 深圳技術(shù)大學(xué)史濟(jì)東等 Nano Lett.:一種用于原位非像素化壓力顯示的可變色離子皮膚 2024-04-18
- 東華大學(xué)武培怡/孫勝童團(tuán)隊(duì)《Nat. Commun.》:自順服離子皮膚 2024-01-31
- 澳門大學(xué)孫國星團(tuán)隊(duì) AFM:拉伸取向增強(qiáng)雙網(wǎng)絡(luò)無溶劑深共晶凝膠及應(yīng)用于人機(jī)交互器件 2025-05-29
誠邀關(guān)注高分子科技

- 密歇根州立大學(xué)劉心悅課題組...
- 西南交大楊維清團(tuán)隊(duì)/港城大...
- 四川大學(xué)劉公巖教授等 Nat. ...
- 浙大楊賡研究員 Adv. Mater....
- 浙江大學(xué)周民教授團(tuán)隊(duì)《ACS ...
- 浙大王立教授/俞豪杰教授團(tuán)...
- 港理工王立秋、張藝媛/港大...
- 香港理工大學(xué)方波團(tuán)隊(duì)《Adv....
- 上海交通大學(xué)顏徐州團(tuán)隊(duì) Ang...
- 西南大學(xué)張同華/王蜀、河工...
- 江蘇大學(xué)聶儀晶團(tuán)隊(duì) Macromo...