WiMi 開發了一種基於 EEG-fNIRS 多模態數據整合的腦機接口

北京,2023年9月14日– WiMi全息雲股份有限公司(納斯達克股票代碼:WIMI)(「WiMi」或「本公司」),作為全球領先的全息增強現實(「AR」)技術提供商,今天宣佈基於腦電圖(EEG)和功能性近紅外光譜儀(fNIRS)多模態數據整合的腦機接口(BCI)已開發出來,以提高EEG-fNIRS多模態數據整合的性能和準確性。

多模態數據整合近年來一直是人工智能領域的熱點話題,其主要目標是有效地結合來自不同來源的數據或信息,以比單一數據源提供更好的決策依據。腦電圖(EEG)和功能性近紅外光譜儀(fNIRS)是兩種常用的腦神經信號檢測技術,每種都有其自身的優勢和局限性。

EEG可以提供高時間分辨率的腦神經活動信息,但其空間分辨率相對較低;儘管fNIRS時間分辨率較低,但可提供高空間分辨率的腦血流動力學信息。WiMi團隊發現將這兩種技術結合起來可以彌補它們各自的缺點,提供更全面準確的腦神經信息。

WiMi利用二進制增強算法實現了EEG和fNIRS數據的有效整合。這是一種具有自注意力機制的深度學習模型,可以自動學習數據的內在相關性,從而提高數據整合的質量和效率。此外,WiMi還設計了一種獨特的算法框架,可以處理大規模多模態數據,滿足不同場景中的應用需求。

該過程可以分為以下步驟:

數據收集:首先,我們需要同時使用EEG設備和fNIRS設備對同一目標進行數據收集。 EEG設備將記錄腦電活動,而fNIRS設備將監測腦血流變化。

數據預處理:收集的數據需要對EEG和fNIRS數據進行預處理,包括過濾、去噪和去假設以提高數據質量。這通常包括過濾和標準化等步驟。 此外,由於EEG和fNIRS設備的不同時間分辨率,還需要進行時間對齊操作。

特徵提取:通過數據的組合,我們可以提取更豐富準確的腦神經活動特徵。從預處理後的數據中提取有用的特徵。 對於EEG數據,可以提取時域、頻域和時頻域特徵,如平均功率譜密度、時域特徵(如均值、方差)、小波變換系數等。 對於fNIRS數據是發光通量變化等。

數據整合:在EEG-fNIRS多模態數據整合中,特徵被組合以獲得一個全面的多模態特徵表示。多模態特徵整合主要是將從EEG和fNIRS數據中提取的特徵組合在一起,以獲得更全面準確的腦活動信息。通過二進制增強算法,一種基於自注意力機制的深度學習模型,它可以自動學習數據的內在相關性,從而實現高維複雜結構數據的有效處理。

模型訓練:使用交叉驗證等方法進行模型參數選擇和性能評估的模型訓練過程。

應用實現:基於提取的特徵實現各種應用。例如,使用這些特徵訓練機器學習模型以預測和控制腦神經活動。

該技術將為腦科學、神經工程學和臨床醫療保健領域的研究和應用提供強大的技術支持。它可以幫助研究人員更深入地了解腦神經活動規律,為臨床醫生提供更準確的診斷和治療依據,也可以應用於腦機接口、虛擬現實等高新技術領域以促進其技術進步。