專利名稱：一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種文本的表示模型，具體是涉及采用圖結(jié)構(gòu)對(duì)文本進(jìn)行表示，使用調(diào)和級(jí)數(shù)對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)進(jìn)行權(quán)重計(jì)算的模型，是一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型。
背景技術(shù)：
人類善于處理非結(jié)構(gòu)化文本，因?yàn)榉墙Y(jié)構(gòu)化文本符合人類語(yǔ)言表達(dá)習(xí)慣，更重要的是人類具有很強(qiáng)的邏輯推理能力。而機(jī)器則善于處理結(jié)構(gòu)化文本，例如圖和表。人機(jī)交互時(shí)，必然需要將人類可理解的非結(jié)構(gòu)化文本轉(zhuǎn)化為機(jī)器可理解的結(jié)構(gòu)化文本，這就需要文本表示模型。 目前應(yīng)用最廣的文本表不模型是向量空間模型。向量空間模型將文本表不成一個(gè)權(quán)值向量，向量中的每一項(xiàng)均由詞項(xiàng)組成，而每個(gè)詞項(xiàng)的權(quán)重由TFIDF方法確定。其中TFIDF方法用詞項(xiàng)權(quán)重公式計(jì)算一個(gè)詞項(xiàng)對(duì)于文集中的單篇文本的重要程度。TFIDF方法的詞項(xiàng)權(quán)重就是詞頻TF(Term Frequency)與逆文檔頻率IDF(Inverse DocumentFrequency)的乘積。TFIDF具體公式如下
TFIDFi = TFi XIDF1 = TFi x Iog(NZni)
其中，TFi為詞項(xiàng)i的詞頻，即詞項(xiàng)i在文本中出現(xiàn)的次數(shù)；IDFi為詞項(xiàng)i的逆文檔頻率，它由Iog(NAii)計(jì)算；N為文本集的文本總數(shù)；叫為文本集中包含詞項(xiàng)i的文本數(shù)。但是使用向量空間模型結(jié)合TFIDF方法對(duì)文本進(jìn)行表示時(shí)，存在以下不足
(I)向量空間模型把文本看成詞項(xiàng)的集合，把詞項(xiàng)與詞項(xiàng)之間的關(guān)系看成是獨(dú)立的，這樣就損失了大量的文本結(jié)構(gòu)信息。(2) TFIDF方法在計(jì)算詞項(xiàng)的詞頻時(shí)，沒(méi)有考慮它們所處位置因素對(duì)它們權(quán)重的影響，而單獨(dú)考慮出現(xiàn)次數(shù)或共現(xiàn)次數(shù)，并不足以表達(dá)其實(shí)際權(quán)重。(3)TFIDF方法在計(jì)算詞項(xiàng)的逆文檔頻率時(shí)，需要基于領(lǐng)域的文本集，而無(wú)法針對(duì)單篇的文本。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)向量空間模型與TFIDF方法的不足，提供一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型，該模型能夠避免文本結(jié)構(gòu)信息的缺失，并同時(shí)能夠針對(duì)單篇文本的結(jié)構(gòu)信息對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算。為了達(dá)到上述的目的，本發(fā)明的構(gòu)思如下采用圖結(jié)構(gòu)模型對(duì)單篇文本進(jìn)行表示，避免文本結(jié)構(gòu)信息的缺失，并同時(shí)能夠針對(duì)單篇文本的結(jié)構(gòu)信息對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算；所述的圖結(jié)構(gòu)模型是使用圖結(jié)構(gòu)對(duì)文本的關(guān)鍵詞及其之間的關(guān)系進(jìn)行組織，再通過(guò)調(diào)和級(jí)數(shù)法進(jìn)行權(quán)重的計(jì)算。
根據(jù)上述的發(fā)明思想，本發(fā)明采用下述技術(shù)方案
一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型，其特征在于，其具體步驟如下
(1)打開(kāi)領(lǐng)域文集中的單篇文本；
(2)將文本內(nèi)容按照重要性程度由大到小重新排列；
(3)對(duì)文本進(jìn)行分詞并保留標(biāo)點(diǎn)符號(hào)；
(4)統(tǒng)計(jì)關(guān)鍵詞和關(guān)鍵詞對(duì)的出現(xiàn)次數(shù)；
(5)以關(guān)鍵詞為圖的節(jié)點(diǎn)，將共現(xiàn)次數(shù)不為0的關(guān)鍵詞對(duì)進(jìn)行連接；
(6)使用調(diào)和級(jí)數(shù)法對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算.
所述的調(diào)和級(jí)數(shù)法，記為HP，其關(guān)鍵詞和關(guān)鍵詞對(duì)權(quán)重計(jì)算式如下
權(quán)利要求
1.一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型，其特征在于采用圖結(jié)構(gòu)模型對(duì)單篇文本進(jìn)行表示，其中使用調(diào)和級(jí)數(shù)法對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算；所述的圖結(jié)構(gòu)模型就是將文本的關(guān)鍵詞根據(jù)關(guān)鍵詞對(duì)在同一個(gè)句子中的共現(xiàn)關(guān)系建立連接關(guān)系；其具體步驟如下打開(kāi)領(lǐng)域文集中的單篇文本；將文本內(nèi)容按照重要性程度由大到小重新排列；對(duì)文本進(jìn)行分詞并保留標(biāo)點(diǎn)符號(hào)；統(tǒng)計(jì)關(guān)鍵詞和關(guān)鍵詞對(duì)的出現(xiàn)次數(shù)；以關(guān)鍵詞為圖的節(jié)點(diǎn)，將共現(xiàn)次數(shù)不為O的關(guān)鍵詞對(duì)進(jìn)行連接；使用調(diào)和級(jí)數(shù)法對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算。
2.按權(quán)利要求I所述的基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型，其特征在于所述步驟(6)中的調(diào)和級(jí)數(shù)法，其關(guān)鍵詞和關(guān)鍵詞對(duì)權(quán)重計(jì)算式如下
全文摘要
本發(fā)明公開(kāi)了一種基于調(diào)和級(jí)數(shù)的文本圖結(jié)構(gòu)表示模型。該方法具體步驟如下(1)打開(kāi)領(lǐng)域文集中的單篇文本；(2)將文本內(nèi)容按照重要性程度由大到小重新排列；(3)對(duì)文本進(jìn)行分詞并保留標(biāo)點(diǎn)符號(hào)；(4)統(tǒng)計(jì)關(guān)鍵詞和關(guān)鍵詞對(duì)的出現(xiàn)次數(shù)；(5)以關(guān)鍵詞為圖的節(jié)點(diǎn)，將共現(xiàn)次數(shù)不為0的關(guān)鍵詞對(duì)進(jìn)行連接；(6)使用調(diào)和級(jí)數(shù)法對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算。該方法避免文本結(jié)構(gòu)信息的缺失，并同時(shí)能夠針對(duì)單篇文本的結(jié)構(gòu)信息對(duì)關(guān)鍵詞和關(guān)鍵詞對(duì)的權(quán)重進(jìn)行計(jì)算；該方法簡(jiǎn)便易操作，效果好，并且能夠兼具TFIDF的功能。
文檔編號(hào)G06F17/30GK102629266SQ20121005940
公開(kāi)日2012年8月8日 申請(qǐng)日期2012年3月8日 優(yōu)先權(quán)日2012年3月8日
發(fā)明者吳超, 陳雪 申請(qǐng)人:上海大學(xué)