12 月 14 日,搜狗 推出了一種人機(jī)交互新技術(shù)——“唇語(yǔ)識(shí)別”。據(jù)介紹,唇語(yǔ)識(shí)別是一項(xiàng)集機(jī)器視覺(jué)與自然語(yǔ)言處理于一體的技術(shù),可以直接從有人講話(huà)的視頻中,通過(guò)識(shí)別說(shuō)話(huà)人唇部動(dòng)作,來(lái)解讀說(shuō)話(huà)者所說(shuō)的內(nèi)容。
搜狗官方表示,通過(guò)復(fù)雜端到端深度神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行中文唇語(yǔ)序列建模,經(jīng)過(guò)數(shù)千小時(shí)的真實(shí)唇語(yǔ)數(shù)據(jù)訓(xùn)練,搜狗“唇語(yǔ)識(shí)別”系統(tǒng)在非特定人開(kāi)放口語(yǔ)測(cè)試集上,該系統(tǒng)達(dá)到 60%以上的準(zhǔn)確率,在垂直場(chǎng)景命令集如車(chē)載、智能家居等場(chǎng)景下甚至已經(jīng)達(dá)到 90%的準(zhǔn)確率。
關(guān)于唇語(yǔ)識(shí)別技術(shù)的作用,搜狗方面表示古代僧侶和神父通過(guò)唇語(yǔ)讀懂信徒心里所想以顯示神奇。而在 2003 年的倫敦劫鈔案中警察就是在唇語(yǔ)識(shí)別專(zhuān)家的幫助下破的案。未來(lái),唇語(yǔ)識(shí)別技術(shù)可以輔助語(yǔ)音交互及圖像識(shí)別,在日常生活、安防、公益等各個(gè)領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用。
比如在車(chē)載場(chǎng)景下,周?chē)胍暨^(guò)大時(shí)會(huì)對(duì)語(yǔ)音指令產(chǎn)生干擾,在安防領(lǐng)域,由于目前多數(shù)監(jiān)控只有攝像頭沒(méi)有麥克風(fēng),而唇語(yǔ)識(shí)別則可以幫助公安人員獲取重要的講話(huà)信息,為公共安全提供有效支持。另外,唇語(yǔ)識(shí)別還有機(jī)會(huì)幫助先天性聽(tīng)障人群或老年人,幫助他們更好地與人交流。
據(jù)了解,這并非業(yè)界首個(gè)唇語(yǔ)識(shí)別技術(shù),早在 2003 年,英特爾便開(kāi)發(fā)了“視聽(tīng)說(shuō)識(shí)別系統(tǒng)”軟件,供開(kāi)發(fā)者研制能讀懂“唇語(yǔ)”的計(jì)算機(jī);2016 年,谷歌 DeepMind 音文唇語(yǔ)識(shí)別系統(tǒng)便已經(jīng)可以支持 17500 個(gè)詞,新聞測(cè)試集識(shí)別準(zhǔn)確率達(dá) 50%以上。