本發(fā)明實施例涉及通信領域，具體而言，涉及一種語音與手語的轉換方法及裝置。

背景技術：

1、當前聾啞人在與他人進行遠程通話時，通常使用特定軟件、小程序、專業(yè)設備、服務中介(人工中介、人工智能(artificial?intelligence,ai)中介)等進行文字轉語音、語音轉文字進行實現(xiàn)遠程通話。這些交流方式或受限于昂貴的設備、或受限于好友關系，或本質上為文本語音交流并不是聾啞人最熟悉的溝通方式。這些都導致了聾啞群體與正常人的溝通方式存在很多局限性，他們無法真正地像常人一樣實現(xiàn)手機暢聊。

2、目前聾啞人與健全人的交流方式主要有以下方法：

3、通過人工中介將手語轉換為語音，智能手機軟件在后臺安排了專業(yè)的手語翻譯客服人員，使用者可以使用“代撥電話”或“呼叫客服”功能，由手語翻譯員完成有聲語言翻譯為手語或手語翻譯為有聲語言的轉譯，實現(xiàn)聽障人士和聽人的在線通話；

4、通過ai手語翻譯機將手語翻譯為文字，ai手語翻譯機擁有全球最大的中文手語識別數(shù)據(jù)集，能識別聽障者大部分的日常手語表達用語。聽障人士只要面對攝像頭做手語，經過后臺計算機高速運算，翻譯機屏幕就能快速把手語轉換成文字。

5、通過微信打開聽障護航小程序，打開視頻通話可以邀請微信好友加入視頻通話，聾人發(fā)送文字在字幕，系統(tǒng)將常人語音轉成文字顯示在字幕，實現(xiàn)視頻的同時能夠看到文字聊天記錄。

6、利用線下翻譯媒介，將手語翻譯成語音，語音翻譯成手語，文字轉成語音，但不支持直接遠程視頻實時通話翻譯。

7、總結以上幾種方式可發(fā)現(xiàn)目前聾啞人與世界溝通的科技方式主要依賴語音轉文字，文字轉語音，中介手語翻譯，設備手語翻譯等技術。這些技術的引入使得聾啞人與他人溝通體驗正在日益改善，但仍然無法解決無輔助設備的情況下，與更多聽人實現(xiàn)手機通話的無障礙暢聊。

技術實現(xiàn)思路

1、本發(fā)明實施例提供了一種語音與手語的轉換方法及裝置，以至少解決相關技術中無法在通話狀態(tài)下進行手語與語音的轉換的問題。

2、根據(jù)本發(fā)明的一個實施例，提供了一種語音與手語的轉換方法，包括以下至少之一：獲取第一終端與第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的第一手語動作視頻，將所述第一手語動作視頻中的第一手語動作轉換為第一語音，并將第一交互信息發(fā)送至所述第二終端，其中，所述第一交互信息包括所述第一語音；獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第二終端發(fā)送的第二語音，將所述第二語音轉換為第二手語動作并生成第二手語動作視頻，并將第二交互信息發(fā)送至所述第一終端，其中，所述第二交互信息包括所述第二手語動作視頻。

3、在一個示例性實施例中，將所述第一交互信息發(fā)送至所述第二終端，包括：基于5g超高清音視頻通話服務(voice?over?new?radio,vonr)，通過互聯(lián)網協(xié)議多媒體子系統(tǒng)(ipmultimedia?subsystem,ims)的數(shù)據(jù)通道將所述第一交互信息發(fā)送至第二終端；和/或，將所述第二交互信息發(fā)送至所述第一終端，包括：基于所述vonr技術通過所述ims的數(shù)據(jù)通道將所述第二交互信息發(fā)送至所述第一終端。

4、根據(jù)本發(fā)明的另一個實施例，提供了一種語音與手語的轉換裝置，包括：第一轉換模塊，用于獲取第一終端與第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的第一手語動作視頻，將所述第一手語動作視頻中的第一手語動作轉換為第一語音，并將第一交互信息發(fā)送至所述第二終端，其中，所述第一交互信息包括所述第一語音；第二轉換模塊，用于獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第二終端發(fā)送的第二語音，將所述第二語音轉換為第二手語動作并生成第二手語動作視頻，并將第二交互信息發(fā)送至所述第一終端，其中，所述第二交互信息包括所述第二手語動作視頻。

5、根據(jù)本發(fā)明的又一個實施例，還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執(zhí)行上述任一項方法實施例中的步驟。

6、根據(jù)本發(fā)明的又一個實施例，還提供了一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執(zhí)行上述任一項方法實施例中的步驟。

7、通過本發(fā)明實施例，由于將第一終端的手語動作視頻轉換為了語音，發(fā)送至第二終端，第二終端的語音也可以轉換為手語動作視頻發(fā)送至第一終端，實現(xiàn)了第一終端和第二終端的用戶可以分別使用自己熟悉的表達方式即手語和語音也可以正常溝通，并且由于本發(fā)明實施例是在第一終端與第二終端進行通話的同時獲取手語動作視頻或語音進行的手語與語音的轉換，無需使用其他輔助設備，交流不需要受限于好友關系，因此，可以解決使用不同表達方式(手語與語音)的用戶無法高效溝通的問題，達到了使用不同表達方式的用戶可以使用自己熟悉的表達方式無障礙進行交流的效果。

技術特征：

1.一種語音與手語的轉換方法，其特征在于，包括以下至少之一：

2.根據(jù)權利要求1所述的方法，其特征在于，將所述第一手語動作視頻中的第一手語動作轉換為第一語音，包括：將所述第一手語動作視頻中的第一手語動作轉換為第一文本，將所述第一文本轉換為第一語音，其中，所述第一交互信息包括所述第一文本；和/或，

3.根據(jù)權利要求1所述的方法，其特征在于，將所述第一交互信息發(fā)送至所述第二終端，包括：基于5g超高清音視頻通話服務vonr，通過互聯(lián)網協(xié)議多媒體子系統(tǒng)ims的數(shù)據(jù)通道將所述第一交互信息發(fā)送至第二終端；和/或，

4.根據(jù)權利要求1所述的方法，其特征在于，獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的所述第一手語動作視頻，將所述第一手語動作視頻中的第一手語動作轉換為第一語音，包括：

5.根據(jù)權利要求1所述的方法，其特征在于，獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第二終端發(fā)送的第二語音，將所述第二語音轉換為第二手語動作并生成第二手語動作視頻，包括：

6.根據(jù)權利要求5所述的方法，其特征在于，根據(jù)所述手語邏輯生成對應的數(shù)字人手語動作視頻，包括：

7.根據(jù)權利要求3所述的方法，其特征在于，將所述第一手語動作視頻中的第一手語動作轉換為第一語音之后，還包括：基于所述vonr技術通過所述ims的數(shù)據(jù)通道將第一文本發(fā)送至所述第一終端；和/或，

8.根據(jù)權利要求1所述的方法，其特征在于，獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的所述第一手語動作視頻，包括：判斷手語與語音轉換業(yè)務是否開通，在所述第一終端和所述第二終端至少之一開通所述手語與語音轉換業(yè)務的情況下，獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的所述第一手語動作視頻；和/或，

9.一種語音與手語的轉換裝置，其特征在于，包括以下至少之一：

10.根據(jù)權利要求9所述的裝置，其特征在于，所述第一轉換模塊還包括：

11.根據(jù)權利要求9所述的裝置，其特征在于，所述第二轉換模塊還包括：

12.根據(jù)權利要求9所述的裝置，其特征在于，所述第一轉換模塊還包括：

13.根據(jù)權利要求9所述的裝置，其特征在于，所述第二轉換模塊還包括：

14.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述權利要求1至8任一項中所述的方法的步驟。

15.一種電子裝置，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)所述權利要求1至8任一項中所述的方法的步驟。

技術總結
本發(fā)明實施例提供了一種語音與手語的轉換方法及裝置，該方法包括以下至少之一：獲取第一終端與第二終端進行通話的狀態(tài)下所述第一終端發(fā)送的第一手語動作視頻，將所述第一手語動作視頻中的第一手語動作轉換為第一語音，并將第一交互信息發(fā)送至所述第二終端；獲取所述第一終端與所述第二終端進行通話的狀態(tài)下所述第二終端發(fā)送的第二語音，將所述第二語音轉換為第二手語動作并生成第二手語動作視頻，并將第二交互信息發(fā)送至所述第一終端。通過本發(fā)明，解決使用不同表達方式(手語與語音)的用戶無法高效溝通的問題，進而達到了使用不同表達方式的用戶可以使用自己熟悉的表達方式無障礙進行交流的效果。

技術研發(fā)人員：仇文娟
受保護的技術使用者：中興通訊股份有限公司
技術研發(fā)日：
技術公布日：2025/1/2