在 AR 或 VR 環境的人機介面仍有待突破, Facebook 展示正在研究的手腕帶,通過超低阻礙輸入機制( Ultra low-friction ),配合情境感知人工智能( Contextual AI ),讓用戶稍微移動手指,能夠作出智能點擊,按下虛擬按鈕去控制 AR 物件。這技術可造出隔空打字動作,甚至有反饋效果提供觸覺。
Facebook 技術總監 Mike Schroepfer 稱, AR 最難解決便是輸入,現有的技術並不適合,於是投入大量資源研發創新技術。 Facebook 在 2019 年收購 CTRL-Labs 之後,併入 Facebook Reality Labs 研究中心,開發未來控制 AR 設備的手腕帶。
FRL 研究科學主管 Sean Keller 介紹智能點擊技術的背後原理,手腕內置 EMG (肌電圖)感應器,接收從脊髓一路傳往手腕和雙手的運動神經電子訊號,轉譯為操控裝置功能的數碼指令。即使只有 1 毫米的手指動作, EMG 亦能偵測。他又說,探測手腕比語音等其他輸入方式更準確,既有私隱和可靠的考慮。
用戶日後戴上手腕帶,可作出隔空打字的去輸入。 Keller 甚至認為, EMG 可以比實體鍵盤打字更快,因該技術加入人工智能,學習用戶獨特的打字風格,只要系統適應了便能成為個人化的虛擬鍵盤。
FRL 同時又展示這套手腕帶技術能夠運用在傷健人士身上的可能性。示範中,一位先天失去幾根手指的傷殘人士在學習幾分鐘之後就掌握運用 AR 空間中的虛擬手指,為傷健人士重回正常生活帶來希望。
該人機介面還提供智能點擊( intelligent click ),根據當前環境在虛擬介面提供選項,手指輕微觸動便確認點擊。介面利用情境感知人工智能,去推算用戶的需要,提供選項。例如 AR 識別到用戶正在打開即食麵包裝,就會顯示時間器控制煮水。
這手腕帶亦有觸覺反饋。以虛擬弓箭為例,透過手腕觸覺,能夠模擬拉開弓弦的感覺,讓用戶覺得正確執行這動作。
FRL 研究科學經理 Nicholas Colonnese 補充,手腕帶其中一個原型「 Bellowband 」,設有 8 個氣動波紋管,可以控制波紋管中的空氣,將其轉譯為有趣的壓力和震動觸覺反饋。另一款原型是「 Tasbi 」,即觸碰和擠壓手環介面( Tactile and Squeeze Bracelet Interface )的縮寫。 Tasbi 是以 6 個觸覺致動器所組成,外加創新的手腕擠壓機制。透過 Bellowband 和 Tasbi ,嘗試過無數種虛擬互動模式,例如測試虛擬按鈕剛性的差異性。
Keller 最後總結,這只是 AR 輸入的技術預覽,可能要用上十年時間去開發,並非短期內會實現的技術。