本發(fā)明涉及一種ui界面語義識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于ui元素識(shí)別。

背景技術(shù)：

1、實(shí)現(xiàn)超自動(dòng)化，首先需要解決ui元素識(shí)別的問題，也即是需要識(shí)別ui界面上元素及相互關(guān)系，只有解決了這個(gè)問題，才有可能實(shí)現(xiàn)基于自然語言指令控制pra機(jī)器人自動(dòng)完成基于ui界面的自動(dòng)化任務(wù)，或者其他超自動(dòng)化場景下的相關(guān)任務(wù)。

2、因此，需要一種ui界面語義識(shí)別方法，能夠識(shí)別ui界面上元素及相互關(guān)系。

技術(shù)實(shí)現(xiàn)思路

1、目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種ui界面語義識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)識(shí)別ui界面上元素及相互關(guān)系。

2、技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

3、第一方面，本發(fā)明提供了一種ui界面語義識(shí)別方法，所述方法包括：

4、獲取目標(biāo)ui圖像中ui元素的基本信息；其中，所述基本信息是采用目標(biāo)檢測算法從目標(biāo)ui圖像中能夠直接提取到的信息；

5、針對所述目標(biāo)ui圖像，采用邊緣檢測算法處理，得到具有區(qū)域輪廓的ui圖像；

6、基于所述具有區(qū)域輪廓的ui圖像，構(gòu)建圖像金字塔；其中，所述圖像金字塔包括多個(gè)層的圖像，所述具有區(qū)域輪廓的ui圖像為最底層的圖像；

7、基于所述圖像金字塔，為ui元素的基本信息賦予關(guān)聯(lián)語義信息；其中，所述關(guān)聯(lián)語義信息用于表征ui元素之間以及ui元素與區(qū)域之間關(guān)聯(lián)關(guān)系的信息。

8、第二方面，本發(fā)明提供了一種ui界面語義識(shí)別裝置，所述裝置包括：

9、獲取模塊，其用于獲取目標(biāo)ui圖像中ui元素的基本信息；其中，所述基本信息是采用目標(biāo)檢測算法直接能夠提取到的信息；

10、檢測模塊，其用于針對所述目標(biāo)ui圖像，采用邊緣檢測算法處理，得到具有區(qū)域輪廓的ui圖像；

11、構(gòu)建模塊，其用于基于所述具有區(qū)域輪廓的ui圖像，構(gòu)建圖像金字塔；其中，所述圖像金字塔包括多個(gè)層的圖像，所述具有區(qū)域輪廓的ui圖像為最底層的圖像；

12、賦予模塊，其用于基于所述圖像金字塔，為ui元素的基本信息賦予關(guān)聯(lián)語義信息；其中，所述關(guān)聯(lián)語義信息用于表征ui元素之間以及ui元素與區(qū)域之間關(guān)聯(lián)關(guān)系的信息。

13、第三方面，本發(fā)明提供了一種設(shè)備，包括，

14、存儲(chǔ)器；

15、處理器；

16、以及

17、計(jì)算機(jī)程序；

18、其中，所述計(jì)算機(jī)程序存儲(chǔ)在所述存儲(chǔ)器中，并被配置為由所述處理器執(zhí)行以實(shí)現(xiàn)上述第一方面所述的方法。

19、第四方面，本發(fā)明提供了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的方法。

20、有益效果：本發(fā)明提供的ui界面語義識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，具有以下優(yōu)點(diǎn)：

21、1、本發(fā)明提出了一種能夠獲取關(guān)聯(lián)語義信息的ui界面語義識(shí)別方法，建立了ui界面中ui元素的語義層次關(guān)系，實(shí)現(xiàn)了有效的ui界面語義識(shí)別。

22、2、本發(fā)明在1的基礎(chǔ)之上，通過構(gòu)建圖像金字塔，解決了現(xiàn)有技術(shù)當(dāng)中，區(qū)域檢測準(zhǔn)確率不高的技術(shù)問題。

技術(shù)特征：

1.一種ui界面語義識(shí)別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的ui界面語義識(shí)別方法，其特征在于，所述基本信息包括：ui元素的類別信息和位置信息，以及文本信息；獲取目標(biāo)ui圖像中ui元素的基本信息，包括：

3.根據(jù)權(quán)利要求1所述的ui界面語義識(shí)別方法，其特征在于，基于所述具有區(qū)域輪廓的ui圖像，構(gòu)建圖像金字塔的步驟，包括：

4.根據(jù)權(quán)利要求3所述的ui界面語義識(shí)別方法，其特征在于，所述圖像金字塔為三層圖像金字塔，基于所述具有區(qū)域輪廓的ui圖像，構(gòu)建圖像金字塔的步驟，包括：

5.根據(jù)權(quán)利要求3所述的ui界面語義識(shí)別方法，其特征在于，所述圖像金字塔用于表征區(qū)域之間的層級(jí)關(guān)系，基于所述具有區(qū)域輪廓的ui圖像，構(gòu)建圖像金字塔的步驟，還包括：

6.根據(jù)權(quán)利要求5所述的ui界面語義識(shí)別方法，其特征在于，所述關(guān)聯(lián)語義信息其包括：所述ui元素所處區(qū)域的區(qū)域?qū)蛹?jí)信息，所述區(qū)域?qū)蛹?jí)信息表示為表征所述區(qū)域之間層級(jí)關(guān)系的信息；

7.根據(jù)權(quán)利要求1所述的ui界面語義識(shí)別方法，其特征在于，所述邊緣檢測算法使用基于canny的邊緣檢測算法，具體包括：

8.一種ui界面語義識(shí)別裝置，其特征在于，所述裝置包括：

9.一種設(shè)備，其特征在于，包括：

10.一種存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種UI界面語義識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于UI元素識(shí)別技術(shù)領(lǐng)域。所述方法包括：獲取目標(biāo)UI圖像中UI元素的基本信息；針對所述目標(biāo)UI圖像，采用邊緣檢測算法處理，得到具有區(qū)域輪廓的UI圖像；基于所述具有區(qū)域輪廓的UI圖像，構(gòu)建圖像金字塔；其中，所述圖像金字塔包括多個(gè)層的圖像，所述具有區(qū)域輪廓的UI圖像為最底層的圖像；基于所述圖像金字塔，為UI元素的基本信息賦予關(guān)聯(lián)語義信息。建立了UI界面中UI元素的語義層次關(guān)系，實(shí)現(xiàn)了有效的UI界面語義識(shí)別。進(jìn)一步地，通過構(gòu)建圖像金字塔，解決了現(xiàn)有技術(shù)當(dāng)中，區(qū)域檢測準(zhǔn)確率不高的技術(shù)問題。

技術(shù)研發(fā)人員：林平,唐琦松,吳鑫,靳志業(yè),謝濤
受保護(hù)的技術(shù)使用者：上海藝賽旗軟件股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30