本發(fā)明涉及人工智能,具體涉及一種基于人工智能的文本標(biāo)注任務(wù)分配系統(tǒng)、方法、電子設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、數(shù)據(jù)標(biāo)注工單是指對圖片、語音、文本、視頻等數(shù)據(jù)進(jìn)行處理,標(biāo)記對象的特征,生成滿足機(jī)器學(xué)習(xí)訓(xùn)練要求的可讀數(shù)據(jù)編碼的任務(wù)或請求。這個過程涉及到將原始數(shù)據(jù)轉(zhuǎn)化為機(jī)器學(xué)習(xí)算法可以理解的形式,通過標(biāo)注后的數(shù)據(jù),機(jī)器可以學(xué)習(xí)到各種任務(wù),如分類、回歸、目標(biāo)檢測等;目前大多數(shù)平臺的數(shù)據(jù)標(biāo)注工單大多是人為分配的,平臺上的數(shù)據(jù)標(biāo)注人員眾多,標(biāo)注工單類型繁多,人為分配工單,存在分配不合理,工單完成質(zhì)量不高,工單容易出現(xiàn)逾期等情況。
2、因此,目前亟需一種能夠智能進(jìn)行文本標(biāo)注任務(wù)分配的方法。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明實(shí)施例的目的在于提供一種基于人工智能的文本標(biāo)注任務(wù)分配系統(tǒng)、方法、電子設(shè)備及存儲介質(zhì),用以解決現(xiàn)有技術(shù)中無法智能進(jìn)行文本標(biāo)注任務(wù)分配的問題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明實(shí)施例提供一種基于人工智能的文本標(biāo)注任務(wù)分配方法,所述方法具體包括:
3、獲取一定數(shù)量的歷史工單的質(zhì)量等級及復(fù)雜度;
4、基于歷史工單的復(fù)雜度和歷史工單完成所需的時間范圍作為工單標(biāo)注時間預(yù)測模型的輸入,訓(xùn)練所述工單標(biāo)注時間預(yù)測模型,以得到最優(yōu)工單標(biāo)注時間預(yù)測模型;
5、獲取待分配工單,對所述待分配工單進(jìn)行計算,得到所述待分配工單的復(fù)雜度;
6、將所述待分配工單的復(fù)雜度輸入最優(yōu)工單標(biāo)注時間預(yù)測模型,得到所述待分配工單完成工單預(yù)期時間范圍【x,x1】;
7、構(gòu)建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員;
8、通過公式(1)計算工單待分配人員的完成時間節(jié)點(diǎn);
9、z1=z0+y1+y2+x1?公式(1);
10、式中,z1為工單待分配人員的完成時間節(jié)點(diǎn),z0為當(dāng)前時間節(jié)點(diǎn),y1為工單待分配人員在一定時間周期內(nèi)工單之間的間歇休息時間,y2為工單待分配人員當(dāng)前待處理工單對應(yīng)的工單所需的時間范圍的上限時間之和,x1為待分配工單完成工單預(yù)期的時間范圍上限;
11、判斷z1是否超出工單要求的交付時間節(jié)點(diǎn)z,若是,重新獲取工單待分配人員,直至工單待分配人員的完成時間節(jié)點(diǎn)未超出工單要求的交付時間節(jié)點(diǎn);
12、若否,將所述工單待分配人員存入待篩選分配人員池中,判斷待分配工單行數(shù)是否大于預(yù)設(shè)閾值n1,若是,從所述待篩選分配人員池中選擇標(biāo)注速度最快的工單待分配人員;
13、判斷工單數(shù)據(jù)行數(shù)是否小于預(yù)設(shè)閾值n2,若是,從所述待篩選分配人員池中選擇標(biāo)注質(zhì)量級別最高的工單待分配人員。
14、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進(jìn):
15、進(jìn)一步地,所述獲取一定數(shù)量的歷史工單的質(zhì)量等級,包括:
16、通過公式(2)計算工單的修改質(zhì)量值;
17、
18、通過公式(3)計算工單刪除質(zhì)量值;
19、
20、對于不同的工單類型,當(dāng)(工單總行數(shù)-廢除行數(shù))大于行數(shù)閾值且工單刪除質(zhì)量值大于等于第一閾值且工單修改質(zhì)量值大于等于第二閾值時,工單質(zhì)量等級為1級;
21、對于不同的工單類型,當(dāng)(工單總行數(shù)-廢除行數(shù))大于行數(shù)閾值且工單刪除質(zhì)量值大于等于第一閾值或工單修改質(zhì)量值大于等于第二閾值時,工單質(zhì)量等級為2級;
22、對于不同的工單類型,當(dāng)(工單總行數(shù)-廢除行數(shù))大于行數(shù)閾值且工單刪除質(zhì)量值小于第一閾值且工單修改質(zhì)量值小于第二閾值時,工單質(zhì)量等級為3級;
23、對于不同的工單類型,當(dāng)工單刪除質(zhì)量值等于0且工單修改質(zhì)量值小于第二閾值或工單修改質(zhì)量值等于0且工單刪除質(zhì)量值小于第一閾值時,工單質(zhì)量等級為4級;
24、對于不同的工單類型,當(dāng)工單刪除質(zhì)量值等于0時且工單修改質(zhì)量值等于0時,工單質(zhì)量等級為5級。
25、進(jìn)一步地,所述構(gòu)建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員,包括:
26、通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,將質(zhì)量等級在3級以上的數(shù)據(jù)標(biāo)注人員確定為工單待分配人員。
27、進(jìn)一步地,所述構(gòu)建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員,還包括:
28、通過測試題對標(biāo)注人員進(jìn)行分析,得到標(biāo)注人員基于不同維度的評分;
29、獲取平臺所有標(biāo)注人員的歷史數(shù)據(jù),基于所述歷史數(shù)據(jù)預(yù)測標(biāo)注人員擅長的標(biāo)注工單類型;
30、基于標(biāo)注人員基于不同維度的評分和標(biāo)注人員擅長的標(biāo)注工單類型獲取標(biāo)注人員首次分配的最佳工單類型。
31、進(jìn)一步地,所述構(gòu)建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員,還包括:
32、二次分配時,分配復(fù)雜度級別相同的不同工單類型。
33、進(jìn)一步地,所述獲取一定數(shù)量的歷史工單的復(fù)雜度,包括:
34、基于工單需求要提取的字段信息,構(gòu)建至少一個三元組,分析三元組之間的關(guān)系,基于所述三元組之間的關(guān)系和三元組的數(shù)量,得到待分配工單的實(shí)體關(guān)系復(fù)雜度;
35、通過公式(4)計算文本內(nèi)容復(fù)雜度;
36、文本內(nèi)容復(fù)雜度=(句子數(shù)量/字符數(shù)量)*100公式(4);
37、通過公式(5)計算文本內(nèi)容量;
38、文本內(nèi)容量=文本字符數(shù)/1000;
39、通過實(shí)體關(guān)系復(fù)雜度、文本內(nèi)容復(fù)雜度和文本內(nèi)容量得到所述待分配工單的復(fù)雜度。
40、進(jìn)一步地,所述將所述工單待分配人員存入待篩選分配人員池中,判斷待分配工單行數(shù)是否大于預(yù)設(shè)閾值n1,若是,從所述待篩選分配人員池中選擇標(biāo)注速度快的工單待分配人員;判斷工單數(shù)據(jù)行數(shù)是否小于預(yù)設(shè)閾值n2,若是,從所述待篩選分配人員池中選擇標(biāo)注質(zhì)量級別高的工單待分配人員,包括:
41、當(dāng)工單行數(shù)大于預(yù)設(shè)閾值n1時,取待篩選分配人員池的每個工單待分配人員在一定時間周期內(nèi)對應(yīng)的工單類型的工單數(shù)據(jù);
42、通過公式(6)計算每個工單待分配人員處理所述工單類型的平均速率v;
43、每個工單待分配人員處理所述工單類型的平均速率v=加權(quán)平均((工單數(shù)據(jù)行數(shù)*工單的實(shí)體關(guān)系復(fù)雜度*工單文本內(nèi)容復(fù)雜度*工單內(nèi)容量)/標(biāo)注工單所需的實(shí)際時間)公式(6);
44、選擇平均速率v最大的工單待分配人員,若存在多人,選擇完成時間節(jié)點(diǎn)最早的工單待分配人員;
45、當(dāng)工單行數(shù)小于預(yù)設(shè)閾值n2時,取待篩選分配人員池的每個工單待分配人員一定期間內(nèi)對應(yīng)的所述工單類型的工單數(shù)據(jù);
46、通過公式(7)計算每個工單待分配人員處理所述工單類型的平均質(zhì)量r;
47、平均質(zhì)量r=加權(quán)平均(工單質(zhì)量級別)公式(7);
48、選擇平均質(zhì)量r最大的工單待分配人員,若存在多人,選擇完成時間節(jié)點(diǎn)最早的工單待分配人員。
49、一種基于人工智能的文本標(biāo)注任務(wù)分配系統(tǒng),包括:
50、文本標(biāo)注質(zhì)量分析模塊,用于獲取一定數(shù)量的歷史工單的質(zhì)量等級;
51、工單復(fù)雜度計算模塊,用于獲取一定數(shù)量的歷史工單的復(fù)雜度,獲取待分配工單,對所述待分配工單進(jìn)行計算,得到所述待分配工單的復(fù)雜度;
52、文本標(biāo)注時間預(yù)測模塊,用于基于歷史工單的復(fù)雜度和歷史工單完成所需的時間范圍作為工單標(biāo)注時間預(yù)測模型的輸入,訓(xùn)練所述工單標(biāo)注時間預(yù)測模型,以得到最優(yōu)工單標(biāo)注時間預(yù)測模型;
53、標(biāo)注人員特征測試模塊,用于建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員;
54、文本標(biāo)注任務(wù)分配模塊,用于將所述待分配工單的復(fù)雜度輸入最優(yōu)工單標(biāo)注時間預(yù)測模型,得到所述待分配工單完成工單預(yù)期時間范圍【x,x1】;
55、通過公式(1)計算工單待分配人員的完成時間節(jié)點(diǎn);
56、z1=z0+y1+y2+x1?公式(1);
57、式中,z1為工單待分配人員的完成時間節(jié)點(diǎn),z0為當(dāng)前時間節(jié)點(diǎn),y1為工單待分配人員在一定時間周期內(nèi)工單之間的間歇休息時間,y2為工單待分配人員當(dāng)前待處理工單對應(yīng)的工單所需的時間范圍的上限時間之和,x1為待分配工單完成工單所需的上限時間;
58、判斷z1是否超出工單要求的交付時間節(jié)點(diǎn)z,若是,重新獲取工單待分配人員,直至工單待分配人員的完成時間節(jié)點(diǎn)未超出工單要求的交付時間節(jié)點(diǎn);
59、若否,將所述工單待分配人員存入待篩選分配人員池中,判斷待分配工單行數(shù)是否大于預(yù)設(shè)閾值n1,若是,從所述待篩選分配人員池中選擇標(biāo)注速度快的工單待分配人員;判斷工單數(shù)據(jù)行數(shù)是否小于預(yù)設(shè)閾值n2,若是,從所述待篩選分配人員池中選擇標(biāo)注質(zhì)量級別高的工單待分配人員。
60、一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)如所述方法的步驟。
61、一種非暫態(tài)計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)所述方法的步驟。
62、本發(fā)明實(shí)施例具有如下優(yōu)點(diǎn):
63、本發(fā)明中基于人工智能的文本標(biāo)注任務(wù)分配方法,獲取一定數(shù)量的歷史工單的質(zhì)量等級及復(fù)雜度;基于歷史工單的復(fù)雜度和歷史工單完成所需的時間范圍作為工單標(biāo)注時間預(yù)測模型的輸入,訓(xùn)練所述工單標(biāo)注時間預(yù)測模型,以得到最優(yōu)工單標(biāo)注時間預(yù)測模型;獲取待分配工單,對所述待分配工單進(jìn)行計算,得到所述待分配工單的復(fù)雜度;將所述待分配工單的復(fù)雜度輸入最優(yōu)工單標(biāo)注時間預(yù)測模型,得到所述待分配工單完成工單預(yù)期時間范圍【x,x1】;構(gòu)建標(biāo)注人員確定模型,通過標(biāo)注人員確定模型,確定所述待分配工單的工單類型,獲取所述工單類型對應(yīng)的歷史工單,獲取所述歷史工單對應(yīng)的數(shù)據(jù)標(biāo)注人員,基于所述數(shù)據(jù)標(biāo)注人員選取工單待分配人員;通過公式計算工單待分配人員的完成時間節(jié)點(diǎn);判斷z1是否超出工單要求的交付時間節(jié)點(diǎn)z,若是,重新獲取工單待分配人員,直至工單待分配人員的完成時間節(jié)點(diǎn)未超出工單要求的交付時間節(jié)點(diǎn);若否,將所述工單待分配人員存入待篩選分配人員池中,判斷待分配工單行數(shù)是否大于預(yù)設(shè)閾值n1,若是,從所述待篩選分配人員池中選擇標(biāo)注速度最快的工單待分配人員;判斷工單數(shù)據(jù)行數(shù)是否小于預(yù)設(shè)閾值n2,若是,從所述待篩選分配人員池中選擇標(biāo)注質(zhì)量級別最高的工單待分配人員,解決了現(xiàn)有技術(shù)中無法智能進(jìn)行文本標(biāo)注任務(wù)分配的問題。