本發(fā)明涉及數(shù)據(jù)處理，特別涉及一種自適應(yīng)題目識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、在教育領(lǐng)域中，做題是很好的理解知識(shí)與檢驗(yàn)學(xué)習(xí)效果的方式。無(wú)論是學(xué)校還是教育機(jī)構(gòu)，都需要管理自己的題庫(kù)，以幫助學(xué)員掌握知識(shí)。題目錄入是題庫(kù)管理的重要環(huán)節(jié)，也是提效的關(guān)鍵。規(guī)則匹配技術(shù)是常見(jiàn)的解析方式。目前市面上的文檔解析錄題、模板錄題技術(shù)方案都需要大量的人工處理，系統(tǒng)中也需要復(fù)雜的規(guī)則設(shè)置。人工處理數(shù)據(jù)的準(zhǔn)確性、系統(tǒng)規(guī)則的全面性共同影響題目解析的正確性。題型越復(fù)雜的題庫(kù)，題目元素的差異性越大，人工處理與系統(tǒng)處理難度越大，耗時(shí)越多。

2、目前常用的規(guī)則匹配技術(shù)，對(duì)題目格式的要求過(guò)于嚴(yán)苛，例如題目標(biāo)識(shí)符、選項(xiàng)標(biāo)識(shí)符、解析標(biāo)識(shí)符等等，都需要明確的規(guī)定，數(shù)據(jù)預(yù)處理需要嚴(yán)格按規(guī)則進(jìn)行，如果內(nèi)容稍有處理不規(guī)范的情況，就會(huì)導(dǎo)致錄入失敗，容錯(cuò)性極差。如何降低人工處理難度，減少系統(tǒng)中題目識(shí)別的復(fù)雜度，提升識(shí)別準(zhǔn)確率，仍然是題庫(kù)管理系統(tǒng)迫切需要解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種自適應(yīng)題目識(shí)別方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中的上述技術(shù)問(wèn)題。

2、為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵／重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

3、根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種自適應(yīng)題目識(shí)別方法。

4、在一個(gè)實(shí)施例中，所述自適應(yīng)題目識(shí)別方法，包括：

5、對(duì)文檔進(jìn)行題目分割，獲取文檔對(duì)應(yīng)的題目數(shù)據(jù)；

6、利用大語(yǔ)言模型對(duì)獲取的題目數(shù)據(jù)進(jìn)行分析，得到不同題目類(lèi)型的題目數(shù)據(jù)以及每個(gè)題目數(shù)據(jù)對(duì)應(yīng)的題目參數(shù)；

7、根據(jù)預(yù)定數(shù)據(jù)結(jié)構(gòu)，對(duì)得到的不同題目類(lèi)型的題目數(shù)據(jù)以及對(duì)應(yīng)的題目參數(shù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)。

8、在一個(gè)實(shí)施例中，所述文檔的格式包括：word文檔格式和excel文檔格式。

9、在一個(gè)實(shí)施例中，對(duì)文檔進(jìn)行題目分割，獲取文檔對(duì)應(yīng)的題目數(shù)據(jù)包括：

10、預(yù)先在word文檔的題目中插入預(yù)定分隔符，并基于分隔符進(jìn)行word文檔識(shí)別，得到word文檔對(duì)應(yīng)的題目，并將題目進(jìn)行分割提取成題目數(shù)據(jù)；

11、對(duì)excel文檔的行數(shù)據(jù)進(jìn)行識(shí)別，確定每行數(shù)據(jù)的題目位置，并基于確定的題目位置，將題目進(jìn)行分割提取成題目數(shù)據(jù)。

12、在一個(gè)實(shí)施例中，利用大語(yǔ)言模型對(duì)獲取的題目數(shù)據(jù)進(jìn)行分析，得到不同題目類(lèi)型的題目數(shù)據(jù)以及每個(gè)題目數(shù)據(jù)對(duì)應(yīng)的題目參數(shù)包括：

13、獲取預(yù)先設(shè)置的不同題目類(lèi)型所對(duì)應(yīng)的題型特征，并根據(jù)所述題型特征，利用大語(yǔ)言模型的問(wèn)題分類(lèi)器對(duì)獲取的題目數(shù)據(jù)進(jìn)行分類(lèi)，得到不同題目類(lèi)型的題目數(shù)據(jù)；

14、利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取，獲得對(duì)應(yīng)的題目參數(shù)；

15、其中，所述題目元素包括：題型、題干、選項(xiàng)、答案、題目解析、章節(jié)分類(lèi)、標(biāo)簽以及備注。

16、在一個(gè)實(shí)施例中，在利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取時(shí)，若提取到多個(gè)不同內(nèi)容參數(shù)的同一題目元素時(shí)，利用相對(duì)多數(shù)投票法對(duì)多個(gè)不同內(nèi)容參數(shù)的同一題目元素進(jìn)行投標(biāo)，并將投標(biāo)數(shù)量最多的內(nèi)容參數(shù)作為題目元素對(duì)應(yīng)的題目參數(shù)。

17、在一個(gè)實(shí)施例中，在利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取時(shí)，若提取到多個(gè)不同內(nèi)容參數(shù)的同一題目元素時(shí)，利用jieba詞庫(kù)對(duì)提取的內(nèi)容參數(shù)進(jìn)行分詞，并刪除分詞中的單個(gè)字且保留詞語(yǔ)，基于保留的詞語(yǔ)構(gòu)建詞匯表；利用詞袋模型對(duì)構(gòu)建的詞匯表中的詞匯進(jìn)行向量化處理，得到向量化詞匯數(shù)據(jù)，并利用余弦相似度算法計(jì)算向量化詞匯數(shù)據(jù)的余弦相似度；將計(jì)算得到的余弦相似度作為內(nèi)容一次性評(píng)分，并選取評(píng)分最高的內(nèi)容參數(shù)作為題目元素對(duì)應(yīng)的題目參數(shù)。

18、在一個(gè)實(shí)施例中，所述自適應(yīng)題目識(shí)別方法，還包括：通過(guò)http請(qǐng)求節(jié)點(diǎn)對(duì)得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的進(jìn)行數(shù)據(jù)傳輸。

19、在一個(gè)實(shí)施例中，通過(guò)http請(qǐng)求節(jié)點(diǎn)對(duì)得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的進(jìn)行數(shù)據(jù)傳輸包括：

20、預(yù)先設(shè)置校驗(yàn)字符串，并將所述校驗(yàn)字符串與結(jié)構(gòu)化封裝后的題目數(shù)據(jù)進(jìn)行拼接，得到拼接題目數(shù)據(jù)；

21、利用md5算法計(jì)算拼接題目數(shù)據(jù)的哈希值，并將所述哈希值作為結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的指紋數(shù)據(jù)；

22、將結(jié)構(gòu)化封裝后的題目數(shù)據(jù)和所述指紋數(shù)據(jù)同時(shí)進(jìn)行數(shù)據(jù)傳輸，并促使數(shù)據(jù)接收端利用所述指紋數(shù)據(jù)對(duì)結(jié)構(gòu)化封裝后的題目數(shù)據(jù)進(jìn)行指紋校驗(yàn)，判斷結(jié)構(gòu)化封裝后的題目數(shù)據(jù)是否被篡改。

23、根據(jù)本發(fā)明實(shí)施例的第二方面，提供了一種自適應(yīng)題目識(shí)別系統(tǒng)。

24、在一個(gè)實(shí)施例中，所述自適應(yīng)題目識(shí)別系統(tǒng)包括：

25、文檔處理模塊，用于對(duì)文檔進(jìn)行題目分割，獲取文檔對(duì)應(yīng)的題目數(shù)據(jù)；

26、模型分析模塊，用于利用大語(yǔ)言模型對(duì)獲取的題目數(shù)據(jù)進(jìn)行分析，得到不同題目類(lèi)型的題目數(shù)據(jù)以及每個(gè)題目數(shù)據(jù)對(duì)應(yīng)的題目參數(shù)；

27、數(shù)據(jù)處理模塊，用于根據(jù)預(yù)定數(shù)據(jù)結(jié)構(gòu)，對(duì)得到的不同題目類(lèi)型的題目數(shù)據(jù)以及對(duì)應(yīng)的題目參數(shù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)。

28、在一個(gè)實(shí)施例中，所述文檔的格式包括：word文檔格式和excel文檔格式。

29、在一個(gè)實(shí)施例中，所述文檔處理模塊在對(duì)文檔進(jìn)行題目分割，獲取文檔對(duì)應(yīng)的題目數(shù)據(jù)時(shí)，預(yù)先在word文檔的題目中插入預(yù)定分隔符，并基于分隔符進(jìn)行word文檔識(shí)別，得到word文檔對(duì)應(yīng)的題目，并將題目進(jìn)行分割提取成題目數(shù)據(jù)；對(duì)excel文檔的行數(shù)據(jù)進(jìn)行識(shí)別，確定每行數(shù)據(jù)的題目位置，并基于確定的題目位置，將題目進(jìn)行分割提取成題目數(shù)據(jù)。

30、在一個(gè)實(shí)施例中，所述模型分析模塊在利用大語(yǔ)言模型對(duì)獲取的題目數(shù)據(jù)進(jìn)行分析，得到不同題目類(lèi)型的題目數(shù)據(jù)以及每個(gè)題目數(shù)據(jù)對(duì)應(yīng)的題目參數(shù)時(shí)，獲取預(yù)先設(shè)置的不同題目類(lèi)型所對(duì)應(yīng)的題型特征，并根據(jù)所述題型特征，利用大語(yǔ)言模型的問(wèn)題分類(lèi)器對(duì)獲取的題目數(shù)據(jù)進(jìn)行分類(lèi)，得到不同題目類(lèi)型的題目數(shù)據(jù)；利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取，獲得對(duì)應(yīng)的題目參數(shù)；其中，所述題目元素包括：題型、題干、選項(xiàng)、答案、題目解析、章節(jié)分類(lèi)、標(biāo)簽以及備注。

31、在一個(gè)實(shí)施例中，所述模型分析模塊在利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取時(shí)，若提取到多個(gè)不同內(nèi)容參數(shù)的同一題目元素時(shí)，利用相對(duì)多數(shù)投票法對(duì)多個(gè)不同內(nèi)容參數(shù)的同一題目元素進(jìn)行投標(biāo)，并將投標(biāo)數(shù)量最多的內(nèi)容參數(shù)作為題目元素對(duì)應(yīng)的題目參數(shù)。

32、在一個(gè)實(shí)施例中，所述模型分析模塊在利用大語(yǔ)言模型的參數(shù)提取器，對(duì)每個(gè)題目數(shù)據(jù)的題目元素的內(nèi)容參數(shù)進(jìn)行提取時(shí)，若提取到多個(gè)不同內(nèi)容參數(shù)的同一題目元素時(shí)，利用jieba詞庫(kù)對(duì)提取的內(nèi)容參數(shù)進(jìn)行分詞，并刪除分詞中的單個(gè)字且保留詞語(yǔ)，基于保留的詞語(yǔ)構(gòu)建詞匯表；利用詞袋模型對(duì)構(gòu)建的詞匯表中的詞匯進(jìn)行向量化處理，得到向量化詞匯數(shù)據(jù)，并利用余弦相似度算法計(jì)算向量化詞匯數(shù)據(jù)的余弦相似度；將計(jì)算得到的余弦相似度作為內(nèi)容一次性評(píng)分，并選取評(píng)分最高的內(nèi)容參數(shù)作為題目元素對(duì)應(yīng)的題目參數(shù)。

33、在一個(gè)實(shí)施例中，所述自適應(yīng)題目識(shí)別方法，還包括：數(shù)據(jù)傳輸模塊，用于通過(guò)http請(qǐng)求節(jié)點(diǎn)對(duì)得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的進(jìn)行數(shù)據(jù)傳輸。

34、在一個(gè)實(shí)施例中，所述數(shù)據(jù)傳輸模塊在通過(guò)http請(qǐng)求節(jié)點(diǎn)對(duì)得到結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的進(jìn)行數(shù)據(jù)傳輸時(shí)，預(yù)先設(shè)置校驗(yàn)字符串，并將所述校驗(yàn)字符串與結(jié)構(gòu)化封裝后的題目數(shù)據(jù)進(jìn)行拼接，得到拼接題目數(shù)據(jù)；利用md5算法計(jì)算拼接題目數(shù)據(jù)的哈希值，并將所述哈希值作為結(jié)構(gòu)化封裝后的題目數(shù)據(jù)的指紋數(shù)據(jù)；將結(jié)構(gòu)化封裝后的題目數(shù)據(jù)和所述指紋數(shù)據(jù)同時(shí)進(jìn)行數(shù)據(jù)傳輸，并促使數(shù)據(jù)接收端利用所述指紋數(shù)據(jù)對(duì)結(jié)構(gòu)化封裝后的題目數(shù)據(jù)進(jìn)行指紋校驗(yàn)，判斷結(jié)構(gòu)化封裝后的題目數(shù)據(jù)是否被篡改。

35、根據(jù)本發(fā)明實(shí)施例的第三方面，提供了一種計(jì)算機(jī)設(shè)備。

36、在一個(gè)實(shí)施例中，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，該存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，該處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。

37、根據(jù)本發(fā)明實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

38、在一個(gè)實(shí)施例中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。

39、本發(fā)明實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

40、本發(fā)明可以將數(shù)據(jù)預(yù)處理階段復(fù)雜的規(guī)則調(diào)整為簡(jiǎn)單的題目分割標(biāo)識(shí)，并利用大語(yǔ)言模型進(jìn)行對(duì)題目進(jìn)行分析處理，可以大大減少業(yè)務(wù)在數(shù)據(jù)處理階段的時(shí)間投入。同時(shí)無(wú)需在系統(tǒng)中設(shè)置繁多的題目元素匹配規(guī)則，可以有效減少規(guī)則缺失導(dǎo)致的題目數(shù)據(jù)異常情況，降低系統(tǒng)資源消耗。同時(shí)該模塊的設(shè)計(jì)允許其靈活集成到常見(jiàn)的題目管理系統(tǒng)中，可有效拓展系統(tǒng)的能力邊界，具有廣泛的應(yīng)用前景和實(shí)際價(jià)值。

41、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。