編輯：拉燕 David

【新智元導讀】

光動嘴，不出聲，也能語音識別？康奈爾大學華人團隊打造的智慧項鍊不但做到了，而且中英文通用，識別準確率超過90%，奧秘在於裝在項鍊內部的紅外攝像頭。

現有的語音識別技術可以讓使用者和Siri直接對話，問問明天的天氣，或者讓Alexa放首歌什麼的。

但是這些技術還是需要人們說出聲音。但假如有一個人不會說話呢？或者在某些場合不適合說出聲音呢？

康奈爾大學鮑爾斯計算機與資訊科學學院資訊科學助理教授Cheng Zhang，和博士生Ruidong Zhang給出了答案：Speechin。

這是一款透過識別脖子和臉部的面板變形來識別無聲指令的裝置。它利用頸裝紅外攝像頭來捕捉這些圖片。

2021年12月31日發表在「Proceedings of the Association of Computing Machinery on Interactive， Mobile， Wearable and Ubiquitous Technologies」上的「SpeeChin： A Smart Necklace for Silent Speech Recognition」一文詳細介紹了這種技術。

10月份，Ruidong Zhang把論文發到了UbiComp 2022會議上。

「這項技術涉及兩個問題。一個是，為什麼一定要用項鍊？另一個是，為什麼要識別口型？」

對於第一個問題，我們認為項鍊是一種人們會習慣佩戴的東西。相比於戴在耳朵上可能會更舒服一點。

對於第二個問題，很多人可能會認為自己的手機上已經有語音識別的功能了，不會再需要戴個項鍊。但是有的時候你可能不太能講話講出聲音，或者有的人可能就是發不出任何聲音。」

「而我們推出的這項技術可以學習一個人說話的時候身體各個部分的模式，這樣就算不出聲也能知道他在說什麼。」

「我們引入了全新的形狀因子、硬體。」Ruidong Zhang說。他在2020年在中國的家裡搭建出了這款新裝置的原型機。那時他正在中國遠端完成他第一年的博士專案。

這個裝置在外觀上和Cheng Zhang去年展示的Neckface技術很像。

Neckface是由Cheng Zhang和他的Scifi實驗室團隊成員一同完成的。Neckface用紅外攝像機不斷地捕捉整個臉部的變化軌跡，收集下巴和脖子上的面板影象。

像Neckface一樣，Speechin也是用一臺紅外攝像機來捕捉佩戴者面板的變化，它裝在用3D打印出來的項鍊上。為了提高佩戴的穩定性，開發者在兩側各裝了一個小翅膀，還在底部放了一枚硬幣。

相比於在人臉前面架一臺攝像機，在脖子上掛一個紅外攝像機會更方便，更保護隱私。因為面前如果有攝像機的話無法避免地會拍到身後的場景，這可能會侵犯隱私。

首次實驗他們招募了20個參與實驗的人。一半說英語，一半說中文普通話。小組成員主要透過測試確定下巴的基線位置。然後用不同的圖片來訓練裝置，學習識別一些簡單的指令。

Ruidong Zhang讓參與實驗的人用英語說出54個指令，包括數字指令、互動指令、語音助理指令、標點指令和導航指令。然後用漢語說出44個簡單的詞或者短語，內容基本相同。

Speechin識別英語和漢語的平均準確率是90。5%和91。6%。為了更大限度地測試極限，實驗人員又找了10位參與者開展了另一項實驗。

實驗人員讓這10個人無聲地說出精心設計的72個由音素構成的一個音節的、不是單詞的內容，這些音素包括18個子音和4個母音。

最後，小組成員又找來6個人，邊走邊說出10箇中文片語和英文片語。這次的成功率稍有下降，其原因是在走路的時候會產生一些變數，比方說，走路的時候比不動的時候頭部運動要更多。

Ruidong Zhang在家裡用焊接臺建起實驗室，在家鄉招募人員參與實驗。

我住的地方是個小城，會英語的人不好找。所以我們最後去杭州了，在浙大找會說英語的人參與實驗。這對我來說是個難忘的經歷。

參考資料：

https：//dl。acm。org/doi/abs/10。1145/3494987

https：//www。inceptivemind。com/speechin-smart-necklace-recognizes-wearers-silent-speech-commands/23335/