聲音可以暴露很多信息,比如說(shuō),廣東人跟東北人講的普通話永遠(yuǎn)都不是一個(gè)味兒。
而麻省理工學(xué)院(MIT)最近一項(xiàng)研究發(fā)現(xiàn),經(jīng)過(guò)訓(xùn)練的 AI 不僅能從聲音里辨別出你的性別、年齡和種族,甚至能猜出你大概長(zhǎng)什么樣。這些「秘密」都藏不住了。
▲ 圖自《華爾街日?qǐng)?bào)》
研究人員用一個(gè)由數(shù)百萬(wàn) YouTube 視頻剪輯組成的數(shù)據(jù)集,對(duì)一個(gè)名為 Speech2Face 的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行自我訓(xùn)練,從最終結(jié)果來(lái)看,6 秒語(yǔ)音對(duì)人臉進(jìn)行還原的效果還算不錯(cuò)。
▲ 一共 6 組結(jié)果示例,左邊是視頻里的人像,右邊是 AI 根據(jù)聲音還原的效果
Speech2Face 模型的運(yùn)作大概分為兩部分,一個(gè)是語(yǔ)音編碼器,負(fù)責(zé)對(duì)輸入的語(yǔ)音進(jìn)行分析,預(yù)測(cè)出相關(guān)的面部特征;另一個(gè)則是面部解碼器,對(duì)輸入的面部特征進(jìn)行整合產(chǎn)生圖像。
MIT 研究團(tuán)隊(duì)指出,他們的目的不是為了準(zhǔn)確地還原說(shuō)話者的模樣,Speech2Face 模型主要是為了研究語(yǔ)音跟相貌之間的相關(guān)性。
從訓(xùn)練結(jié)果看,Speech2Face 能較好地識(shí)別出性別,對(duì)白種人和亞洲人也能較好地分辨出來(lái),另外對(duì) 30-40 歲和 70 歲的年齡段聲音命中率稍微高一些。
▲ Speech2Face 似乎傾向?qū)?30 歲以下的說(shuō)話者年齡猜大,將 40-70 歲的說(shuō)話者年齡猜小
除了比較基礎(chǔ)的性別、年齡和種族,Speech2Face 甚至能猜中一些面部特征,比如說(shuō)鼻子的結(jié)構(gòu)、嘴唇的厚度和形狀、咬合情況,以及大概的面部骨架。基本上輸入的語(yǔ)音時(shí)間越長(zhǎng),AI 的準(zhǔn)確度會(huì)越高。
當(dāng)然 AI 的「聽(tīng)覺(jué)」也會(huì)出錯(cuò)。研究人員發(fā)現(xiàn),它會(huì)將未經(jīng)歷變聲期的小男孩識(shí)別為女性,對(duì)一些說(shuō)話者的口音判斷錯(cuò)誤,也會(huì)搞混年紀(jì) …… 這一點(diǎn)完全可以理解,畢竟聲音還是會(huì)騙人的,夜夜伴你入睡的萌妹奶音主播,實(shí)際上說(shuō)不定就是個(gè)摳腳硬漢。
▲ Speech2Face 的一些錯(cuò)誤示例
研究人員指出,Speech2Face 的局限性,部分原因來(lái)自數(shù)據(jù)集里的說(shuō)話者本身種族多樣性不夠豐富,這也導(dǎo)致了它辨認(rèn)黑種人聲音的能力比較弱。
至于他們對(duì)這個(gè) AI 模型的應(yīng)用,則有一個(gè)很可愛(ài)的想象:只需要說(shuō)幾句話,未來(lái) Animoji 和 Gboard 等功能或許就能根據(jù)聲音生成你的卡通頭像。
▲ 圖自 Independent
不管你信或不信,藏在我們聲音的秘密都正被開發(fā)研究,投入各式各樣的場(chǎng)景應(yīng)用。
卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)副教授 Rita Singh 也主導(dǎo)過(guò)一項(xiàng)類似的研究,能從聲音猜測(cè)說(shuō)話者的年齡、身高、體重、環(huán)境噪音和說(shuō)話時(shí)的空間類型等信息。她認(rèn)為聲音里藏著豐富而獨(dú)特的信息,「就像是你的 DNA 或指紋」。
這項(xiàng)技術(shù)后來(lái)升級(jí)成跟 Speech2Face 相似的語(yǔ)音分析系統(tǒng),還原人臉的準(zhǔn)確度達(dá)到 60%-70%,目前正被美國(guó)海岸警衛(wèi)隊(duì)用于縮小調(diào)查范圍找到惡作劇報(bào)警者。據(jù)稱,他們每年會(huì)接到約 150 個(gè)惡作劇電話,這些行為被視作浪費(fèi)警力,甚至?xí)獾叫淌缕鹪V。
▲ 聽(tīng)起來(lái)就像是刑偵劇里的犯罪側(cè)寫師
目前,匯豐、渣打、摩根大通等銀行都在用「聲紋」作為身份識(shí)別的一種方式(voice ID),可以檢測(cè)你的賬戶是否被盜。
大都會(huì)人壽保險(xiǎn)公司的客服中心,會(huì)用一套 AI 系統(tǒng)幫忙識(shí)別客戶的情緒和感受,平均準(zhǔn)確率達(dá)到 82%;一些保險(xiǎn)公司甚至?xí)璐伺袛鄟?lái)電者有沒(méi)有騙保的意圖——如果說(shuō)話時(shí)出現(xiàn)微小停頓,很可能就是在提供虛假信息。
除此之外,經(jīng)過(guò)訓(xùn)練的 AI 還被一些公司用于招聘,從應(yīng)聘者的說(shuō)話模式分析出性格特征,判斷是否適合在招崗位。
而豐田汽車曾經(jīng)在 2017 年 CES 大會(huì)展出 Concept-i 概念車型,車內(nèi)配備紅外攝像頭、傳感器、車載語(yǔ)音識(shí)別和對(duì)話系統(tǒng),它們將協(xié)作判斷司機(jī)是不是處于疲勞駕駛狀態(tài)并作出提醒。
跟 MIT 的卡通頭像相比,Singh 教授的想法似乎要更長(zhǎng)遠(yuǎn)且宏大一些。她希望,有朝一日語(yǔ)音識(shí)別技術(shù)可以用于遠(yuǎn)程確診帕金森等疾病。
▲ 圖自 NewScientist
而目前已經(jīng)有研究發(fā)現(xiàn),冠狀動(dòng)脈疾病患者在聲音上會(huì)留有不同的頻率標(biāo)志。未來(lái),「聽(tīng)聲看病」說(shuō)不定也會(huì)跟「聽(tīng)聲識(shí)臉」一樣成真。
【來(lái)源:愛(ài)范兒】