本技術(shù)涉及顯示設(shè)備，尤其涉及一種顯示設(shè)備及基于分屏播放的字幕顯示方法。

背景技術(shù)：

1、顯示設(shè)備可以通過分屏技術(shù)，在同一屏幕中顯示多個(gè)分屏窗口，以在不同的分屏窗口中，顯示不同的媒資數(shù)據(jù)。但是，在多個(gè)分屏窗口播放不同的媒資數(shù)據(jù)時(shí)，多個(gè)媒資數(shù)據(jù)的音頻部分會(huì)相互影響，導(dǎo)致用戶無法聽清媒資數(shù)據(jù)的音頻部分。

2、為此，顯示設(shè)備可以將分屏窗口分為主窗口和副窗口，在進(jìn)行分屏顯示的過程中，顯示設(shè)備播放主窗口對應(yīng)媒資數(shù)據(jù)的音頻部分，副窗口僅顯示畫面，不播放音頻部分，從而避免媒資音頻的播放沖突。但是，這樣用戶僅可以觀看副窗口，而無法知曉副窗口所播放的媒資數(shù)據(jù)的音頻部分理解副窗口畫面的含義，降低用戶觀看體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決顯示設(shè)備在分屏播放不同媒資時(shí)，僅顯示主窗口的媒資音頻，導(dǎo)致用戶無法根據(jù)副窗口中的音頻部分理解畫面含義的問題。

2、第一方面，本技術(shù)提供一種顯示設(shè)備，包括：

3、顯示器，被配置為顯示用戶界面；

4、音頻輸出裝置，被配置為播放音頻數(shù)據(jù)；

5、控制器，被配置為：

6、響應(yīng)于分屏控制指令，在所述用戶界面顯示第一窗口和第二窗口；

7、在兩個(gè)分屏窗口中選擇第一窗口的情況下，獲取第一媒資數(shù)據(jù)和第二媒資數(shù)據(jù)，所述第一媒資數(shù)據(jù)為所述第一窗口播放的媒資數(shù)據(jù)，所述第二媒資數(shù)據(jù)為第二窗口播放的媒資數(shù)據(jù)；

8、獲取第一字幕數(shù)據(jù)，所述第一字幕數(shù)據(jù)由所述第二媒資數(shù)據(jù)經(jīng)語義理解處理后得到；

9、控制所述顯示器在所述第一窗口中顯示所述第一媒資數(shù)據(jù)對應(yīng)的媒資畫面，以及，在所述第二窗口中顯示所述第二媒資數(shù)據(jù)對應(yīng)的媒資畫面和所述第一字幕數(shù)據(jù)；

10、在所述顯示器顯示所述第一媒資數(shù)據(jù)對應(yīng)的媒資畫面的過程中，控制所述音頻輸出裝置播放所述第一媒資數(shù)據(jù)的媒資音頻。

11、上述技術(shù)方案中，顯示設(shè)備在分屏播放不同的媒資數(shù)據(jù)時(shí)，在第一窗口中顯示第一媒資數(shù)據(jù)的媒資畫面，并播放第一媒資數(shù)據(jù)的媒資音頻，在第二窗口中顯示第二媒資數(shù)據(jù)的媒資畫面和由第二媒資數(shù)據(jù)對應(yīng)的媒資音頻執(zhí)行語義理解得到的第一字幕數(shù)據(jù)，使用戶可以通過第一字幕數(shù)據(jù)了解第二窗口中所顯示的第二媒資數(shù)據(jù)的畫面含義，提高分屏播放的畫面體驗(yàn)。

12、在一些實(shí)施例中，當(dāng)所述第二窗口的窗口數(shù)量為一個(gè)時(shí)，所述控制器還被配置為：

13、響應(yīng)于用戶輸入的窗口切換指令，語義理解所述第一媒資數(shù)據(jù)的媒資音頻，得到第二字幕數(shù)據(jù)；

14、控制所述顯示器在所述第一窗口中顯示所述第二字幕數(shù)據(jù)，以及，控制所述音頻輸出裝置停止播放所述第一媒資數(shù)據(jù)的媒資音頻，并播放所述第二媒資數(shù)據(jù)的媒資音頻。

15、上述技術(shù)方案中，當(dāng)用戶界面中包括一個(gè)第二窗口時(shí)，用戶可以通過窗口切換指令切換將第二窗口為切換主窗口，顯示設(shè)備可以停止播放第一窗口中第一媒資數(shù)據(jù)的媒資音頻，并顯示設(shè)備播放第二媒資數(shù)據(jù)的媒資音頻。同時(shí)，根據(jù)第一媒資數(shù)據(jù)的媒資音頻生成第二字幕數(shù)據(jù)，使用戶通過第二字幕數(shù)據(jù)了解第一窗口中第一媒資數(shù)據(jù)的畫面含義。

16、在一些實(shí)施例中，所述控制器執(zhí)行獲取第一字幕數(shù)據(jù)的步驟前，還被配置為：

17、檢測所述第二媒資數(shù)據(jù)的媒資字幕數(shù)據(jù)；

18、若檢測到所述媒資字幕數(shù)據(jù)，則根據(jù)所述媒資字幕數(shù)據(jù)生成所述第一媒資數(shù)據(jù)。

19、上述技術(shù)方案中，在對媒資音頻執(zhí)行語義理解前，顯示設(shè)備檢測第二媒資數(shù)據(jù)中是否包含媒資字幕數(shù)據(jù)。若包含媒資字幕數(shù)據(jù)，則可以直接在第二窗口中顯示第一字幕數(shù)據(jù)，從而節(jié)省對媒資音頻執(zhí)行語義理解的時(shí)間，提高字幕顯示效率。

20、在一些實(shí)施例中，所述控制器執(zhí)行獲取第一字幕數(shù)據(jù)的步驟，具體被配置為：

21、獲取用戶輸入的目標(biāo)語種信息；

22、獲取語音文本數(shù)據(jù)，所述語音文本數(shù)據(jù)為根據(jù)所述第二媒資數(shù)據(jù)對應(yīng)的媒資音頻執(zhí)行語義理解得到；

23、若所述語音文本數(shù)據(jù)的語種信息與所述目標(biāo)語種信息不同，則根據(jù)所述目標(biāo)語種信息對所述語音文本數(shù)據(jù)執(zhí)行語種翻譯，得到第一字幕數(shù)據(jù)。

24、上述技術(shù)方案中，顯示設(shè)備在第二窗口顯示第一字幕數(shù)據(jù)時(shí)，用戶可以選擇對應(yīng)的目標(biāo)語種信息。顯示設(shè)備可以對第二媒資數(shù)據(jù)的媒資音頻執(zhí)行語義理解，并根據(jù)目標(biāo)語種信息對得到的語音文本數(shù)據(jù)執(zhí)行語種翻譯，得到不同語種語言的字幕數(shù)據(jù)，以適應(yīng)于不同語種語言為母語的用戶。

25、在一些實(shí)施例中，還包括存儲(chǔ)器，所述存儲(chǔ)器被配置為存儲(chǔ)語義理解模型，所述控制器執(zhí)行獲取語音文本數(shù)據(jù)的步驟，具體被配置為：

26、將所述第二媒資數(shù)據(jù)的媒資音頻輸入所述語義理解模型，以提取所述第二媒資數(shù)據(jù)的媒資音頻的語音特征和語義特征；

27、獲取根據(jù)所述語音特征和所述語義特征生成所述語音文本數(shù)據(jù)。

28、上述技術(shù)方案中，顯示設(shè)備在語義理解第二媒資數(shù)據(jù)時(shí)，可以將第二媒資數(shù)據(jù)的媒資音頻輸出語義理解模型，語義理解模型可以提取媒資音頻的語音特征和語義特征，從而根據(jù)語音特征和語義特征生成語音文本數(shù)據(jù)，實(shí)現(xiàn)文本提取。

29、在一些實(shí)施例中，所述控制器執(zhí)行在所述第一窗口中顯示所述第一媒資數(shù)據(jù)對應(yīng)的媒資畫面的步驟后，還被配置為：

30、響應(yīng)于用戶基于所述第一窗口輸入的第一縮放指令，對所述第一窗口執(zhí)行等比例縮放；

31、根據(jù)用戶界面的顯示區(qū)域和執(zhí)行縮放后的第一窗口，計(jì)算剩余顯示區(qū)域；

32、對所述第二窗口執(zhí)行等比例縮放，以填充所述剩余顯示區(qū)域。

33、上述技術(shù)方案中，顯示設(shè)備在縮放第一窗口時(shí)，第二窗口會(huì)根據(jù)第一窗口的縮放而適應(yīng)性縮放。通過用戶界面的顯示區(qū)域和縮放后的第一窗口計(jì)算剩余顯示區(qū)域，并對第二窗口執(zhí)行等比例縮放，以填充剩余顯示區(qū)域，提高用戶界面的顯示區(qū)域使用率。

34、在一些實(shí)施例中，所述控制器執(zhí)行對所述第二窗口執(zhí)行等比例縮放，以填充所述剩余顯示區(qū)域的步驟，具體被配置為：

35、計(jì)算所述第二窗口與所述剩余顯示區(qū)域的顯示比例；

36、根據(jù)所述顯示比例對所述第二窗口執(zhí)行等比例縮放，以及，在等比例縮放所述第二窗口的過程中，根據(jù)所述顯示比例等比例縮放所述第一字幕數(shù)據(jù)。

37、上述技術(shù)方案中，第一字幕數(shù)據(jù)可以根據(jù)第二窗口的縮放而縮放，使第二窗口中的畫面內(nèi)容與第一字幕數(shù)據(jù)同步縮放，提高第二窗口與第一字幕數(shù)據(jù)的縮放同步率。

38、在一些實(shí)施例中，所述執(zhí)行根據(jù)所述顯示比例等比例縮放所述第一字幕數(shù)據(jù)的步驟，所述控制器還包括：

39、計(jì)算所述第二窗口的顯示面積；

40、若所述顯示面積小于或等于所述預(yù)設(shè)面積閾值，則通過所述語義理解模型對所述第一字幕數(shù)據(jù)對應(yīng)的文本內(nèi)容執(zhí)行語義概括，得到字幕簡介數(shù)據(jù)；

41、控制所述顯示器取消顯示所述第一字幕數(shù)據(jù)，以及，在所述第二窗口中顯示所述字幕簡介數(shù)據(jù)。

42、上述技術(shù)方案中，當(dāng)?shù)诙翱诘娘@示面積小于預(yù)設(shè)面積閾值時(shí)，字幕數(shù)據(jù)的顯示會(huì)遮擋第二窗口的畫面內(nèi)容，因此，顯示設(shè)備可以對第一字幕數(shù)據(jù)執(zhí)行語義概括，從而簡化第一字幕數(shù)據(jù)的數(shù)據(jù)內(nèi)容，減少第一字幕數(shù)據(jù)對第二窗口的遮擋。

43、在一些實(shí)施例中，所述控制器執(zhí)行在所述第二窗口中顯示所述第二媒資數(shù)據(jù)對應(yīng)的媒資畫面和所述第一字幕數(shù)據(jù)的步驟，具體被配置為：

44、檢測所述第二媒資數(shù)據(jù)的媒資音頻中語音時(shí)間戳，所述語音時(shí)間戳為所述媒資音頻中語音數(shù)據(jù)的時(shí)間戳；

45、根據(jù)所述語音時(shí)間戳，在所述第二窗口中顯示第一字幕數(shù)據(jù)。

46、上述技術(shù)方案中，可以檢測媒資音頻中語音時(shí)間戳，獲取第二媒資數(shù)據(jù)中語音數(shù)據(jù)的播放時(shí)間，從而根據(jù)語音時(shí)間戳顯示對應(yīng)語音內(nèi)容的第一字幕數(shù)據(jù)，保持語音時(shí)間戳與第一字幕數(shù)據(jù)的顯示同步性，保證第二媒資數(shù)據(jù)的音畫同步效果。

47、第二方面，本技術(shù)部分實(shí)施例提供一種基于分屏播放的字幕顯示方法，應(yīng)用于第一方面所述的顯示設(shè)備，所述顯示設(shè)備包括顯示器，被配置為顯示用戶界面；音頻輸出裝置，被配置為播放音頻數(shù)據(jù)；控制器；所述方法包括：

48、應(yīng)于分屏控制指令，在所述用戶界面顯示第一窗口和第二窗口；

49、在兩個(gè)分屏窗口中選擇第一窗口的情況下，獲取第一媒資數(shù)據(jù)和第二媒資數(shù)據(jù)，所述第一媒資數(shù)據(jù)為所述第一窗口播放的媒資數(shù)據(jù)，所述第二媒資數(shù)據(jù)為第二窗口播放的媒資數(shù)據(jù)；

50、獲取第一字幕數(shù)據(jù)，所述第一字幕數(shù)據(jù)由所述第二媒資數(shù)據(jù)經(jīng)語義理解處理后得到；

51、控制所述顯示器在所述第一窗口中顯示所述第一媒資數(shù)據(jù)對應(yīng)的媒資畫面，以及，在所述第二窗口中顯示所述第二媒資數(shù)據(jù)對應(yīng)的媒資畫面和所述第一字幕數(shù)據(jù)；

52、在所述顯示器顯示所述第一媒資數(shù)據(jù)對應(yīng)的媒資畫面的過程中，控制所述音頻輸出裝置播放所述第一媒資數(shù)據(jù)的媒資音頻。

53、由以上技術(shù)方案可知，本技術(shù)提供一種顯示設(shè)備及基于分屏播放的字幕顯示方法，所述方法通過響應(yīng)于分屏控制指令，在所述用戶界面顯示第一窗口和第二窗口，并在兩個(gè)分屏窗口中選擇第一窗口的情況下，獲取第一媒資數(shù)據(jù)和第二媒資數(shù)據(jù)，并語義理解第二媒資數(shù)據(jù)的媒資音頻，得到第一字幕數(shù)據(jù)。控制顯示器在第一窗口中顯示第一媒資數(shù)據(jù)對應(yīng)的媒資畫面，在第二窗口中顯示第二媒資數(shù)據(jù)對應(yīng)的媒資畫面和第一字幕數(shù)據(jù)，并控制音頻輸出裝置播放第一媒資數(shù)據(jù)的媒資音頻。本技術(shù)通過對第二窗口中的媒資音頻語義理解，得到第一字幕數(shù)據(jù)，使用戶可以通過第一媒資數(shù)據(jù)的媒資音頻和畫面了解第一窗口的畫面含義，并根據(jù)第一字幕數(shù)據(jù)了解第二窗口中播放的第二媒資數(shù)據(jù)的畫面含義，提高分屏播放時(shí)的用戶觀看體驗(yàn)。