常言道,眼睛是人類心靈的窗口。據統計,視覺在人感知外部世界時所提供的信息占比為83%。人的視線包含人腦注意機制的相關信息,隱含人的認知與意圖,通過追蹤眼睛的活動能夠實現自然高效、響應快速的人機交互,在退化性疾病患者人機交互、顱腦神經診療、認知行為研究和智慧座艙等領域具有廣泛的應用前景。隱形眼鏡作為一種普適的技術,至今在全球范圍內已有約1.5億名隱形眼鏡佩戴者。近年柔性光電子技術的發展,使隱形眼鏡不再局限于近視校準的基礎功能,逐步發展出具有醫學診斷、釋藥、光電刺激、視覺增強等功能的智能隱形眼鏡。隱形眼鏡天然與眼睛合為一體,若能賦予其眼動追蹤的功能,有望實現精準實時、輕量無感、自然高效的眼機交互應用。
圖一:《碟中諜4》人機交互智能隱形眼鏡
圖二:基于眼動追蹤隱形眼鏡的眼機交互系統
圖三:豐富多樣的眼機交互應用
用戶佩戴眼動追蹤隱形眼鏡之后,通過簡單的隱式校準過程構建眼動響應模型。該模型定標人眼眼球的個體差異、佩戴過程中射頻標簽位置的隨機性以及閱讀器空間位置,基于時序眼動追蹤算法實現實時動態、高精度的眼動追蹤。眼動角精度優于0.5°,甚至小于中央凹所提供的視角。進一步,該隱形眼鏡能夠識別用戶自定義的多種眼部動作:眼動方位和閉眼,以命令編碼的形式實現軟硬件交互。
圖五:基于眼動追蹤隱形眼鏡的活體兔子眼控無人車
圖六:眼部生物相容性測試
總之,該隱形眼鏡具有準確穩定的無線眼動追蹤能力、豐富多樣的交互模式、柔軟舒適的結構特性以及生物安全的理化性質,有望開發新一代人機交互智能裝備,為無人設備操控、眼腦醫學診療、眼-腦科學研究、心理學研究提供設備基礎。
該工作以“Frequency-encoded eye tracking smart contact lens for human-machine interaction”為題發表在《Nature Communications》上【Nature Communications, 2024, 15:3588】。南京大學徐飛教授、陸延青教授、江蘇省人民醫院袁松濤主任醫師、南京航天航空大學陳燁研究員為文章的共同通訊作者,南京大學博士生朱衡天、楊歡和江蘇省人民醫院博士生徐思琪為文章共同第一作者,馬園園、朱書庚、毛正藝對實驗作出了重要貢獻。江蘇省人民醫院胡仔仲副主任醫師、南京大學江德臣教授、寧興海教授、熊毅豐助理教授、潘榮容博士、徐郁蕊博士、陳薇薇博士生對實驗提供了重要幫助。該研究得到國家自然科學基金委(61925502、62135007、62305153和 22025403)和國家重點研發計劃(2021YFA1401103)的支持。