AI技術(shù)，讓我們“聽”懂聾人

　　光明日報(bào)記者 劉 茜 陳建強(qiáng)

　　這個(gè)寒假，有一批失聰?shù)拇髮W(xué)生成了冬奧會的遠(yuǎn)程志愿者，他們來自天津理工大學(xué)聾人工學(xué)院。這些志愿者把電視新聞欄目的內(nèi)容轉(zhuǎn)換成手語順序的文本，為冬奧會轉(zhuǎn)播中需要的AI（人工智能）手語數(shù)字人提供大規(guī)模的語料支持。

　　袁甜甜，天津理工大學(xué)聾人工學(xué)院副院長，是這些聽障大學(xué)生的老師，也是無障礙智能科技研發(fā)中心的成員。她介紹：“無障礙智能科技研發(fā)中心將為冬奧會的實(shí)況轉(zhuǎn)播提供AI手語數(shù)字人的手語語料支持，我和學(xué)生們已經(jīng)為此忙了兩個(gè)多月。能夠?yàn)槎瑠W會服務(wù)，我們充滿了榮譽(yù)感。”

　　　　教AI認(rèn)知手語

　　2021年，創(chuàng)辦中國聾人高等工科特殊教育30年紀(jì)念大會上，一個(gè)“手語角”吸引了不少人駐足。只要在攝像頭前打出手語，身后的顯示屏上就會出現(xiàn)語意連貫的文字翻譯。袁甜甜展示著這個(gè)被稱為“復(fù)雜場景下中國手語實(shí)時(shí)翻譯系統(tǒng)”的《“鯨可語”——多模態(tài)連續(xù)手語自動標(biāo)注識別系統(tǒng)》項(xiàng)目（下稱“鯨可語”）。據(jù)介紹，在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對手語的識別率最高能達(dá)到95%，部分場景下可以實(shí)現(xiàn)“同步翻譯”。研發(fā)這套系統(tǒng)的目的，是讓每個(gè)健聽人都能輕松地看懂手語。其自動標(biāo)注識別系統(tǒng)“鯨可語”還獲得了去年第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽主賽道的金獎(jiǎng)。

　　王建源是研發(fā)團(tuán)隊(duì)的成員之一。他是聾人家庭長大的聾兒，聽力損失嚴(yán)重，吐字發(fā)聲非常困難，手語是他和這個(gè)世界打交道最初也最有效的方式。22年來，聾人的身份沒有讓他感到自卑；口不能言，也沒耽誤他成為一個(gè)妥妥的“學(xué)霸”；但如果你問他，因?yàn)槁犃φ系K，從小到大遇到過哪些方面的不便，他會平靜地在手機(jī)上打出四個(gè)字：方方面面——因?yàn)檎J(rèn)識手語的人太少了。

　　一個(gè)最典型的例子是看病，如果沒有手語翻譯陪著，即便只是頭疼腦熱，像王建源這樣的“手語族”也很難獨(dú)自就醫(yī)——絕大多數(shù)醫(yī)生不會手語。

　　從1991年9月11日首批6名聾生入學(xué)到今天，天津理工大學(xué)聾人學(xué)院的老師們積累了很多與聾人溝通的經(jīng)驗(yàn)。

　　袁甜甜學(xué)的是計(jì)算機(jī)專業(yè)，2006年研究生一畢業(yè)，她就在聾人工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系工作。上班第一天，她面對的挑戰(zhàn)就是學(xué)手語。通過看文字、讀唇語，學(xué)生們能夠了解老師，可是老師不能很快地了解學(xué)生。磕磕絆絆地學(xué)會了手語，袁甜甜記不清有多少次，凌晨一兩點(diǎn)鐘陪學(xué)生去看病，幫忙做手語翻譯。

　　我國有2780萬聾人，如何依靠科技的力量讓健康人走進(jìn)他們的世界？袁甜甜、王建源等人開始了“鯨可語”手語實(shí)時(shí)翻譯系統(tǒng)的研發(fā)。

　　“鯨可語”手語實(shí)時(shí)翻譯類似于手語版的“語音輸入法”。只不過后者是輸入語音、機(jī)器識別、轉(zhuǎn)成文字，而前者是輸入手語動作和表情、機(jī)器識別。

　　要把人工智能訓(xùn)練成一個(gè)合格的手語翻譯，得把手勢、表情、大肢體動作，通通從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)。所以，能充分理解、展示手語之美的聽障生，是最適合給人工智能當(dāng)“老師”的人。

　　很多國外團(tuán)隊(duì)建立的手語數(shù)據(jù)集無法支持復(fù)雜場景下的手語翻譯，一個(gè)直接的原因，就是無法找到足夠多的人在自然狀態(tài)下采集手語?！岸覀兊膱F(tuán)隊(duì)背靠聾人工學(xué)院，很多成員本身就是手語使用者，在自然手語的采集上有優(yōu)勢。”袁甜甜說。

　　　　讓健聽人“讀懂”聽障人更重要

　　冬奧會中，袁甜甜團(tuán)隊(duì)服務(wù)的AI手語數(shù)字人，能夠幫助聾人更好地理解健聽人的表達(dá)，“鯨可語”手語識別和翻譯則是借助科技的力量幫助健聽人更好地理解聾人的表達(dá)。這兩者之間有怎樣的區(qū)別？

　　做AI手語數(shù)字人，是讓聾人用熟悉的方式去理解健聽人的表達(dá)方式，核心研發(fā)點(diǎn)是手語生成，而“鯨可語”手語識別和翻譯的核心研發(fā)點(diǎn)是手語識別，“鯨可語”這項(xiàng)技術(shù)更難?！蚌L可語”需要計(jì)算機(jī)視覺和自然語言識別處理兩種技術(shù)：聾人的手語包括表情、手部動作，肢體動作，都需要計(jì)算機(jī)做融合識別，這是計(jì)算機(jī)識別技術(shù)；把計(jì)算機(jī)識別出來的信息用計(jì)算機(jī)程序再變成健聽人所熟悉的語言模式，這是自然語言識別處理技術(shù)。AI手語數(shù)字人，某種程度上只涉及自然語言識別處理技術(shù)過程。從技術(shù)轉(zhuǎn)化上看，AI手語數(shù)字人的產(chǎn)業(yè)落地時(shí)間會更短，數(shù)據(jù)上的投入相對較少，更容易將成果市場化。

　　“為什么一定要搞手語翻譯呢？聾人聽不到，現(xiàn)在有語音識別??！有的聾人不會說話，拿手機(jī)打字不就行了嗎？”曾經(jīng)有一些企業(yè)向袁甜甜了解過正在開發(fā)中的手語實(shí)時(shí)翻譯系統(tǒng)，想談投資。但談來談去，他們卻對項(xiàng)目的必要性產(chǎn)生了疑問，覺得手語翻譯除了“做善事”沒有其他意義。為什么還要傾心于“鯨可語”的研發(fā)和轉(zhuǎn)化呢？

　　“在與學(xué)生交流的過程中，我知道對殘障人士最好的關(guān)心就是平等。他們不是殘障，只是與我們不一樣?！痹鹛鹫f。

　　溝通永遠(yuǎn)是雙向的。我們教聽障人寫字、認(rèn)字，讀唇語，他們在努力融入健聽人的世界；我們健聽人也要為聽懂接納聽障人作出一點(diǎn)努力。

　　袁甜甜說，直到今天，手語仍然是許多聽障人士最自然、高效的表達(dá)方式，“比寫字、打字都快”。但為了促進(jìn)無障礙交流，要求健聽人都去學(xué)手語，顯然不現(xiàn)實(shí)?！蚌L可語”手語實(shí)時(shí)翻譯系統(tǒng)就是利用高科技讓健聽人努力向聽障人靠攏。

　　《光明日報(bào)》（ 2022年01月12日 08版）