背景技術：

在線教育系統(tǒng)和電子書已經(jīng)開始占主要地位。讀者可能檢查引用來回顧關于被引用的術語的定義或獲得關于被引用的術語的進一步解釋。讀者還可能想要確定參考材料是否以所聲稱的方式支持作者的論證，或者估計作者使用的材料的力量和有效性。

附圖說明

以下詳細描述參考附圖，在所述附圖中：

圖1圖示了根據(jù)示例的用于生成引用解釋的系統(tǒng)的框圖；

圖2-3圖示了根據(jù)示例的引用解釋設備的框圖；

圖4-5圖示了根據(jù)示例的用于提供引用解釋的過程的流程圖；

圖6-7圖示了根據(jù)示例的用于提取引用聲明的過程的流程圖；

圖8-9圖示了根據(jù)示例的用于提供被引用文檔的候選片段的過程的流程圖；以及

圖10-12圖示了根據(jù)示例的引用解釋的示意圖。

具體實施方式

以下詳細描述涉及附圖。每當可能時，在圖和以下描述中使用相同的參考號碼來指代相同或類似的部分。雖然在本文檔中描述了若干示例，但是修改、改編和其他實現(xiàn)是可能的。相應地，以下詳細描述不限制所公開的示例。代之以，所公開的示例的適當范圍可以由所附權利要求書限定。

在線閱讀和學習越來越流行并且提供許多優(yōu)點。例如，在線文檔可以包括到參考材料的鏈接，所述參考材料諸如被引用文檔、定義和解釋。引用可以包括單個引用和/或成列引用。第一示例包括一列引用，“關聯(lián)規(guī)則不同于我們的優(yōu)先級模式并且其對推薦與特定項(item)[9，16，27]相關的項有用”。第二示例包括單個引用，“查詢個性化[34]”。伴隨第一和第二示例的文本潛在地是方法或特征的概要、術語，其可能被定義在一個或多個引用和/或引述中。然而，在閱讀和學習過程期間，參考材料還可能給讀者提供干擾和打斷。

示例涉及可以為獨立的文檔提供參考材料的引用解釋。提供引用解釋的過程包括分析原始文檔以提取引用聲明。該過程生成被引用文檔的可能對應于引用聲明的候選片段的集合。該過程還基于預定義標準來評價(evaluate)候選片段的集合。還可以通過該過程提供對引用解釋的推薦。

如本文中使用的那樣，“原始文檔”指代讀者正在查看的諸如文本和/或圖片之類的內(nèi)容。該內(nèi)容可以包含支持作者在文檔中呈現(xiàn)的文本和其他內(nèi)容的引用。使用引用解釋可以通過利用本文中提供的參考材料制作獨立的文檔來減少干擾和打斷。

如本文中使用的那樣，“引用”指代對在文檔的主體中嵌入的來源的參考。引用可以以不同的形式出現(xiàn)。例如，引用可以是一列引用或單個引用。例如，引用可能伴隨有可以是來自被引用文檔的引述、釋義、概要和/或定義的文本。引用可以以不同風格出現(xiàn)，諸如：“geo等人，[3]”、“[3]”、“[geo93]”等。

如本文中使用的那樣，“被引用文檔”指代參考的來源。來源可以是例如在引用中參考的文本或圖像。所涉及的來源可以是書、文章、著名藝術作品、法律條款、判例法等。來源可能源于文檔的物理副本，諸如書或出版物，或者來源可能源于文檔的電子副本，諸如博客或在線文章。如本文中使用的被引用文檔涉及至少一個來源。至少一個來源不限于僅一個被引用文檔，而還設想使用多個被引用文檔。

如本文中使用的那樣，“引用聲明”指代使用引用和/或提供引用的上下文(context)的文本。換言之，該文本要求使用特定引用。例如，“信息檢索和信息過濾已經(jīng)被稱作“同一硬幣的兩面”(例如，[5])”。在該示例中，引述“同一硬幣的兩面”可以是提供引用(例如，“[5]”)的上下文的文本。

如本文中使用的那樣，“候選片段”指代被引用文檔的可以解釋、定義、支持和/或一般地提供與引用聲明相關的較多細節(jié)的部分。

如本文中使用的那樣，“經(jīng)修訂(revised)的候選片段”指代被修改或調(diào)整的候選片段。例如，經(jīng)修訂的候選片段可以是合并在一起的兩個候選片段，或被分成兩個候選片段的一個候選片段。

現(xiàn)在參考各圖，圖1圖示了根據(jù)示例的用于提供引用解釋的系統(tǒng)的框圖?？梢栽诓槐畴x所公開的示例的范圍的情況下以多個不同的配置來實現(xiàn)系統(tǒng)100。在圖1中，系統(tǒng)100可以包括引用解釋設備120、文檔設備140、數(shù)據(jù)庫160和用于將引用解釋設備120與數(shù)據(jù)庫160和/或文檔設備140連接的網(wǎng)絡180。

引用解釋設備120可以是執(zhí)行與所公開的示例一致的各種功能的計算系統(tǒng)，所述各種功能諸如提供被引用文檔的引用解釋。例如，引用解釋設備120可以是臺式計算機、膝上型計算機、平板計算設備、移動電話、服務器和/或任何其他類型的計算設備。在一些示例中，引用解釋設備120可以使用對原始文檔的部分的句法分析而從原始文檔提取引用聲明。例如，引用聲明可以包括來自被引用文檔的引述、釋義、概要和/或定義。引用解釋設備120可以對引用聲明執(zhí)行預處理以提供引用聲明的表示。引用聲明的表示可以以單詞的向量、引用聲明的主題表示、引用的確切的單詞或短語(即引述)的形式。引用解釋設備120可以基于預定義分類的指派對引用聲明和/或引用聲明的表示進行分類。例如，可以通過“定義”、“概要”、“引述”、“方法”和/或“概要”對引用聲明歸類來確定分類?？梢允褂貌煌姆椒▉韴?zhí)行分類，所述方法諸如決策樹、規(guī)則或更復雜的方法?？梢杂柧毮Ｐ蛠砜紤]聲明的句法、語法和語言特征。

引用解釋設備120還可以標識被引用文檔的可能對應于引用聲明的候選片段的集合。術語“可能對應”可以指代基于分析的關聯(lián)和/或關系，即候選片段與引用聲明之間的關聯(lián)或關系。例如，可以將被引用文檔和引用聲明進行比較以生成匹配或解釋引用聲明的至少一個候選片段?？梢赃x擇被引用文檔的該部分來表示至少一個候選片段?？梢詫蜻x片段的集合中的每個進行排名(rank)。排名可以包括基于至少一個標準給每個候選片段賦值，所述至少一個標準諸如關鍵術語的數(shù)目、術語的位置和/或片段在被引用文檔中的位置。

在標識候選片段的集合時，引用解釋設備120可以調(diào)整或修改候選片段以將片段與引用聲明更好地對準。例如，可以合并候選片段中的至少兩個以形成新的或經(jīng)修訂的候選片段?？梢源_定經(jīng)修訂的候選片段的更新的排名?？梢詧?zhí)行合并候選片段中的至少兩個以基于排名標準提供更好地捕捉原始文檔與被引用文檔之間的關系的候選片段。排名標準可以指代被引用文檔的基準點測定(benchmarking)特性，諸如關鍵術語、關鍵術語的頻率、結構數(shù)據(jù)、分類數(shù)據(jù)和候選片段在被引用文檔中的位置。根據(jù)另一示例，候選片段還可以被分裂成兩個候選片段。如果確定候選片段過大或包含無關信息，則可以分裂該片段。分裂可以將候選片段分成至少兩個候選片段，其具有初始候選片段的所有片段。替代地，可以移除初始候選片段的至少一個部分并且可以創(chuàng)建至少兩個經(jīng)修訂的候選片段以集中在僅相關片段上并且省略無關片段。下面關于例如圖2-12來更詳細地描述引用解釋設備120的示例和可以由引用解釋設備120執(zhí)行的某些功能。

文檔設備140可以是維持、接收或傳送來自數(shù)據(jù)集合的數(shù)據(jù)的任何設備。例如，文檔設備140可以是掃描設備或計算設備，諸如臺式計算機、膝上型計算機、平板計算設備、移動電話、服務器或任何其他類型的計算設備。文檔設備140可以接收、傳送或否則訪問數(shù)據(jù)集合，諸如文章和受控的數(shù)據(jù)集，用來為引用解釋設備120收集數(shù)據(jù)。例如，文檔設備140可以提供對文檔的訪問。文檔設備140還可以收集、維持、查詢和/或分析文檔的數(shù)字版本。文檔設備140可以包括處理器，并且可以經(jīng)由處理器訪問數(shù)據(jù)集合的數(shù)字版本，諸如原始文檔和/或被引用文檔。下面關于例如圖4-5和8-9更詳細地討論原始文檔、被引用文檔、引用聲明和候選片段的示例。

數(shù)據(jù)庫160可以是促進對數(shù)據(jù)的存儲的任何類型的存儲系統(tǒng)配置。例如，數(shù)據(jù)庫160可以促進對數(shù)據(jù)(例如，saas、sql、access等數(shù)據(jù)庫、xml文件等)的定位、訪問和檢索。可以通過多個方法來填充數(shù)據(jù)庫160。例如，引用解釋設備120可以用由引用解釋設備120生成的數(shù)據(jù)庫條目來填充數(shù)據(jù)庫160，并且將數(shù)據(jù)庫條目存儲在數(shù)據(jù)庫160中。作為另一示例，引用解釋設備120可以通過從另一組件、無線網(wǎng)絡操作者和/或文檔設備140的用戶接收一組數(shù)據(jù)庫條目并且將數(shù)據(jù)庫條目存儲在數(shù)據(jù)庫160中來填充數(shù)據(jù)庫160。在又一示例中，文檔設備140可以通過例如傳輸數(shù)據(jù)或獲得來自文檔的數(shù)據(jù)來填充數(shù)據(jù)庫160，所述文檔即原始文檔和被引用文檔。

可以使用電子手段，諸如通過使用連接到文檔設備140的掃描儀或掃描設備，來獲得數(shù)據(jù)。數(shù)據(jù)庫條目可以包含多個字段，其可以包括與原始文檔、引用、引用的表示、被引用文檔、被引用文檔的索引(indexing)和結構數(shù)據(jù)、候選片段、經(jīng)修訂的候選片段、可解釋性排名和得分以及片段推薦相關的信息。雖然在圖1中示出的示例中數(shù)據(jù)庫160是在組件120和140外部的單個組件，但是數(shù)據(jù)庫160可以包括分離的數(shù)據(jù)庫和/或可以是設備120、140和/或另一設備的部分。在一些實現(xiàn)中，可以由設備120和/或140的能夠通過網(wǎng)絡180遠程地訪問、創(chuàng)建、控制和/或以其他方式管理數(shù)據(jù)的組件來管理數(shù)據(jù)庫160。

網(wǎng)絡180可以是促進遠程組件(諸如引用解釋設備120和文檔設備140)之間的通信的任何類型的網(wǎng)絡。例如，網(wǎng)絡180可以是局域網(wǎng)(lan)、廣域網(wǎng)(wan)、虛擬私有網(wǎng)絡、專用內(nèi)部網(wǎng)、因特網(wǎng)和/或無線網(wǎng)絡。

在圖1中圖示的布置僅是示例，并且系統(tǒng)100可以以多個不同的配置來實現(xiàn)。例如，雖然圖1示出一個引用解釋設備120、文檔設備140、數(shù)據(jù)庫160和網(wǎng)絡180，但是系統(tǒng)100可以包括任何數(shù)目的組件120、140、160和180以及未在圖1中描繪的其他組件。系統(tǒng)100還可以省略組件120、140、160和180中的任何。例如，引用解釋設備120和文檔設備140可以被直接連接而不是經(jīng)由網(wǎng)絡180連接。作為另一示例，引用解釋設備120和文檔設備140可以被組合成單個設備。

圖2-3圖示了根據(jù)示例的引用解釋設備的框圖。參考圖2，圖示了引用解釋設備120。在某些方面，引用解釋設備120可能對應于多個圖1的引用解釋設備120。可以以多種方式實現(xiàn)引用解釋設備120。例如，引用解釋設備120可以是專用計算機、服務器、大型計算機、執(zhí)行接收和處理信息并提供響應的指令的計算設備，和/或任何其他類型的計算設備。在圖2中示出的示例中，引用解釋設備120可以包括機器可讀存儲介質(zhì)250、處理器270和接口(interface)280。

處理器270可以是至少一個處理單元(cpu)、微處理器和/或執(zhí)行用以實行操作的指令的另一硬件設備。例如，處理器270可以取出、解碼和執(zhí)行存儲在機器可讀存儲介質(zhì)250中的解釋指令260(例如，指令262、264和/或266)以執(zhí)行與本文中提供的示例相關的操作。

接口280可以是促進信息在引用解釋設備120與其他組件之間的傳送的任何設備，所述其他組件諸如文檔設備140和/或數(shù)據(jù)庫160。在一些示例中，接口280可以包括允許設備從網(wǎng)絡180接收數(shù)據(jù)和向網(wǎng)絡180發(fā)送數(shù)據(jù)的網(wǎng)絡接口設備。例如，接口280可以經(jīng)由網(wǎng)絡180向數(shù)據(jù)庫160檢索與提供引用解釋相關的數(shù)據(jù)并處理所述數(shù)據(jù)。

機器可讀存儲介質(zhì)250可以是存儲可執(zhí)行指令的任何電子、磁、光學或其他物理存儲設備。因此，機器可讀存儲介質(zhì)250可以是例如存儲器、存儲驅(qū)動器、光盤和/或類似物。在一些實現(xiàn)中，機器可讀存儲介質(zhì)250可以是非瞬時的，諸如非瞬時計算機可讀存儲介質(zhì)，其中術語“非瞬時”不包括瞬時傳播的信號。機器可讀存儲介質(zhì)250可以被編碼有指令，所述指令在被處理器270執(zhí)行時實行與本文中的示例一致的操作。例如，機器可讀存儲介質(zhì)250可以包括執(zhí)行操作的指令，所述操作通過從原始文檔提取引用聲明而提供引用解釋、生成來自被引用文檔的片段候選以及評價片段候選。在圖2中示出的示例中，機器可讀存儲介質(zhì)250可以包括提取指令262、片段生成指令264和評價指令266。

提取指令262可以運行以使用對原始文檔的部分的句法分析而從原始文檔提取引用聲明并且對所述引用聲明分類。例如，當提取指令262由處理器270執(zhí)行時，提取指令262可以使得引用解釋設備120的處理器270和/或另一處理器提取引用并且對引用執(zhí)行預處理以提供作為引用聲明的引用的表示。引用聲明可以包括從單詞的向量、主題表示和確切的單詞集合選擇的至少一個結構。提取指令262的執(zhí)行還可能使得引用解釋設備120的處理器270和/或另一處理器基于預定義分類的指派而對引用聲明進行分類。下面關于例如圖4-5進一步詳細地描述在提取中涉及的步驟的示例。

片段生成指令264可以運行以生成被引用文檔的可能對應于引用聲明的候選片段的集合。例如，當片段生成指令264由處理器270執(zhí)行時，片段生成指令264可以使得引用解釋設備120的處理器270和/或另一處理器標識被引用文檔的可能對應于引用聲明的候選片段的集合。下面關于例如圖4-7進一步詳細地描述在生成候選片段簡檔的集合中涉及的步驟的示例。

評價指令266可以運行以分析候選片段的集合，以便對候選片段的集合中的每個候選片段進行排名。例如，當評價指令266被處理器270執(zhí)行時，評價指令266可以使得引用解釋設備120的處理器270和/或另一處理器分析候選片段的集合。分析可以包括對候選片段的集合中的每個候選片段進行排名?？梢允褂糜糜谂琶母鞣N方法。例如，基于可解釋性得分來選擇候選片段的集合中的至少一個候選片段用于顯示?？梢酝ㄟ^評價從關鍵術語、關鍵術語的頻率、結構數(shù)據(jù)、分類數(shù)據(jù)和候選片段在被引用文檔中的位置選擇的至少一個因素來確定可解釋性得分。評價指令266可以進一步運行以合并候選片段中的至少兩個以形成經(jīng)修訂的候選片段并且給經(jīng)修訂的候選片段提供更新的排名。下面關于例如圖4-5和8-9進一步詳細地描述在分析候選片段的集合中涉及的步驟的示例。

參考圖3，引用解釋設備120被圖示包括提取引擎362、片段生成引擎364和評價引擎366。在某些方面中，引用解釋設備120可能對應于圖1-2的引用解釋設備120?？梢砸远喾N方式實現(xiàn)引用解釋設備120。例如，引用解釋設備120可以是計算系統(tǒng)和/或提供引用解釋的任何其他適合的組件或組件集合。

接口280可以是促進信息在引用解釋設備120與外部組件之間的傳送的任何設備。在一些示例中，接口280可以包括允許引用解釋設備120從網(wǎng)絡接收數(shù)據(jù)和向網(wǎng)絡發(fā)送數(shù)據(jù)的網(wǎng)絡接口設備。例如，接口280可以檢索和處理與使用來自引用解釋設備120、文檔設備140和/或數(shù)據(jù)庫160的數(shù)據(jù)來提供引用解釋相關的數(shù)據(jù)。

引擎362、364和366可以是用于實現(xiàn)與所公開的示例一致的功能的電子電路。例如，引擎362、364和366可以表示用以實現(xiàn)與所公開的實現(xiàn)一致的功能的硬件設備和指令的組合。例如，用于引擎的指令可以是存儲在非瞬時機器可讀存儲介質(zhì)上的處理器可執(zhí)行指令，并且用于引擎的硬件可以包括用于執(zhí)行那些指令的處理器。在一些示例中，引擎362、364和366的功能可以對應于由圖1-2的引用解釋設備120執(zhí)行的操作，所述操作諸如當解釋指令260被處理器270執(zhí)行時實行的操作。

在圖3中，提取引擎362可以表示實行與當處理器270執(zhí)行提取指令262時實行的那些操作類似的操作的硬件和指令的組合。類似地，片段生成引擎364可以表示實行與當處理器270執(zhí)行片段生成指令264時實行的那些操作類似的操作的硬件和指令的組合，并且評價引擎366可以表示實行與當處理器270執(zhí)行評價指令266時實行的那些操作類似的操作的硬件和指令的組合。

圖4-5圖示了根據(jù)示例的用于提供引用解釋的過程的流程圖。盡管下面參考系統(tǒng)100描述了過程400和500的執(zhí)行，但是可以使用用于執(zhí)行過程400和500的至少一個步驟的其他適合的系統(tǒng)和/或設備。例如，下面描述為被系統(tǒng)100執(zhí)行的過程可以由引用解釋設備120、文檔設備140和/或任何其他適合的設備或系統(tǒng)執(zhí)行?？梢砸源鎯υ诖鎯υO備上的可執(zhí)行指令的形式和/或以電子電路的形式來實現(xiàn)過程400和500，所述存儲設備諸如機器可讀存儲介質(zhì)。

參考圖4，提供了用以提供引用解釋的方法。過程400可以通過分析原始文檔以提取引用聲明(步驟404)而開始?？梢允褂枚喾N分析方法來執(zhí)行對原始文檔的分析。例如，句法分析可以標識句子邊界，并且包含引用的句子可以被視為引用聲明。不同的示例是圍繞引用本身的固定窗上下文分析(即，100單詞的窗大小)。又一方法是不僅分析包含引用的句子而且分析后面的多個(例如，1-2個)句子以便看這些句子是否涉及同一引用。例如，引用“信息檢索和信息過濾已經(jīng)被稱作“同一硬幣的兩面”(例如，[5])。本文解釋了差異......”并且可以使用上面的方法中的一個來分析周圍文本，所述方法即句法、固定窗上下文、圍繞引用的句子。例如，系統(tǒng)100的引用解釋設備120和/或文檔設備140可以查詢或以其他方式訪問數(shù)據(jù)庫160以確定存儲在諸如數(shù)據(jù)庫160之類的存儲設備中的適當?shù)姆治龇椒ā?/p>

過程400還可以包括標識被引用文檔的可能對應于引用聲明的候選片段的集合(步驟406)。例如，引用解釋設備120和/或文檔設備140可以將被引用文檔與引用聲明進行比較以生成匹配或解釋引用聲明的至少一個候選片段?？梢赃x擇被引用文檔的該部分來表示至少一個候選片段?？梢詫⒑蜻x片段的集合存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得候選片段。在另一示例中，引用解釋設備120和/或文檔設備140還可以分析被引用文檔以提供被引用文檔的結構或生成被引用文檔的索引?？梢詫⑴c結構和/或索引相關的數(shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得結構和/或索引數(shù)據(jù)。

過程400還可以包括基于預定義標準來評價候選片段的集合(步驟408)。例如，引用解釋設備120和/或文檔設備140可以向每個候選片段指派可解釋性得分?？梢允褂脧年P鍵術語、關鍵術語的頻率、結構數(shù)據(jù)、分類數(shù)據(jù)和候選片段在被引用文檔中的位置選擇的至少一個因素來確定每個候選片段的可解釋性得分。可以將可解釋性得分存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得可解釋性得分。

在另一示例中，引用解釋設備120和/或文檔設備140可以合并候選片段的集合中的至少兩個片段以形成經(jīng)修訂的候選片段。引用解釋設備120和/或文檔設備140然后可以提供經(jīng)修訂的候選片段的可解釋性得分?？梢詫⒔?jīng)修訂的候選片段和可解釋性得分存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得經(jīng)修訂的候選片段和可解釋性得分。在已經(jīng)完成對候選片段的評價之后，過程400可以結束。

參考圖5，過程500以引用(步驟502)開始。過程500可以包括分析原始文檔以提取引用聲明(步驟504)。例如，引用解釋設備120和/或文檔設備140可以分析原始文檔以標識和提取引用聲明。可以將引用聲明存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得引用聲明。

過程500還可以包括對在步驟502中提取的引用聲明進行分類(步驟505)。例如，引用解釋設備120和/或文檔設備140可以評價所提取的引用聲明并且基于預定義分類的集合對聲明進行分類，所述預定義分類諸如“定義”、“概要”、“引述”、“方法”和/或“結論”?？梢允褂貌煌姆椒▉韴?zhí)行分類，所述方法諸如決策樹、規(guī)則或更復雜的方法?？梢杂柧毞诸惸Ｐ蛠砜紤]聲明的句法、語法和語言特征。知道引用聲明的可能分類可以被方法用作信息的附加來源，用以標識和評價匹配引用聲明的候選片段。例如，知道引用聲明是引述使得能夠在被引用文檔中搜索引用聲明的確切匹配。可以將分類存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得分類和與其相關聯(lián)的引用聲明。

過程500還可以包括生成被引用文檔的可能對應于引用聲明的候選片段的集合(步驟506)。在生成候選片段之前，可以獲得被引用文檔(步驟520)。例如，引用解釋設備120和/或文檔設備140可以獲得被引用文檔。引用解釋設備120和/或文檔設備140然后可以將被引用文檔與引用聲明進行比較以生成匹配或解釋引用聲明的至少一個候選片段。可以將候選片段存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得候選片段。

過程500還可以檢索或獲得被引用文檔(步驟520)。例如，引用解釋設備120和/或文檔設備140可以取得通過引用而引用的被引用文檔。在作品的書目參考章節(jié)中提供的被引用文檔的描述可以用來搜索web或查詢數(shù)據(jù)庫，諸如書目數(shù)據(jù)庫，以便檢索或獲得被引用文檔。替代地，讀者可以將文檔的位置或文檔本身提供給系統(tǒng)?？梢詫⒈灰梦臋n存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得被引用文檔。

過程500還可以包括基于預定義標準來評價候選片段的集合(步驟508)。預定義標準可以包括用來確定排名或得分的因素。因素的示例可以包括關鍵術語的數(shù)目、術語的位置和/或片段在被引用文檔中的位置。例如，引用解釋設備120和/或文檔設備140可以向每個候選片段指派可解釋性排名或可解釋性得分。可以將可解釋性排名存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得可解釋性排名和/或與其相關聯(lián)的候選片段。在評價候選片段之后，過程500可以推薦被引用文檔的要嵌入到原始文檔供讀者參考的片段(步驟510)。

圖6-7圖示了根據(jù)示例的用于提取引用聲明的過程的流程圖。圖6-7是圖4-5的子過程。盡管下面參考系統(tǒng)100描述了過程600和700的執(zhí)行，但是可以使用用于執(zhí)行過程600和700的至少一個步驟的其他適合的系統(tǒng)和/或設備。例如，下面描述為被系統(tǒng)100執(zhí)行的過程可以由引用解釋設備120、文檔設備140和/或任何其他適合的設備或系統(tǒng)執(zhí)行?？梢砸源鎯υ诖鎯υO備上的可執(zhí)行指令的形式和/或以電子電路的形式來實現(xiàn)過程600和700，所述存儲設備諸如機器可讀存儲介質(zhì)。

參考圖6，過程600以引用(步驟602)開始。過程600可以包括句子分割(步驟604)。例如，引用解釋設備120和/或文檔設備140可以標識句子邊界以提取針對引用的引用聲明c。所提取的句子邊界可以用在引用的分析中?？梢詫⒕渥臃指顢?shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得句子分割數(shù)據(jù)。

過程600還可以包括引用的句法分析(步驟606)。例如，引用解釋設備120和/或文檔設備140可以標識被視為引用聲明的包含引用的句子?？梢詫⒃摼渥哟鎯υ谥T如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以針對該句子而查詢數(shù)據(jù)庫160。

在通過句法分析(步驟606)標識該句子之后，過程600可以生成更簡潔的表示，諸如該句子的確切表示或向量表示。例如，引用解釋設備120和/或文檔設備140可以以確切的順序捕捉該句子的確切文本，即作為引述。該確切文本可以用來執(zhí)行對被引用文檔內(nèi)的文本的確切匹配搜索，諸如分別用于圖4和5的步驟406和506。確切匹配搜索在引述的情況下可以是有用的。

在另一示例中，引用解釋設備120和/或文檔設備140可以根據(jù)句子生成單詞的向量。單詞的向量可以用來執(zhí)行對被引用文檔內(nèi)的文本的近似匹配搜索，諸如分別用于圖4和5的步驟406和506。近似匹配搜索可以使用術語的向量來找到術語的近似匹配。

過程600還可以包括提供引用聲明表示(步驟612)。例如，引用解釋設備120和/或文檔設備140可以提供引用聲明表示，諸如所生成的確切表示和/或向量表示?？梢詫⒙暶饕帽硎敬鎯υ谥T如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得引用聲明表示。過程600將引用聲明表示作為引用聲明(步驟614)輸出到引用解釋設備120和/或文檔設備140。

參考圖7，過程700以引用(步驟702)開始。代替句法分析(圖6的步驟606)，過程700提供用以使用固定窗上下文(步驟704)來分析引用以提取引用聲明的過程的示例。例如，引用解釋設備120和/或文檔設備140可以圍繞引用本身考慮固定窗上下文，即單詞的大小，諸如100?？梢詫⒐潭ù吧舷挛闹械膯卧~存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得固定窗上下文中的單詞。

在標識固定窗之后，過程700還可以包括預處理(步驟706)。例如，引用解釋設備120和/或文檔設備140可以對固定窗應用預處理以移除停止詞和其他噪聲詞。通過預處理，可以生成更簡潔的表示?？梢詫㈩A處理結果存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得預處理結果。

預處理(步驟706)可以提供主題模型(步驟708)以表示引用聲明。例如，引用解釋設備120和/或文檔設備140可以生成固定窗的主題表示。主題模型可以用來執(zhí)行對被引用文檔內(nèi)的文本的近似匹配搜索，諸如分別用于圖4和5的步驟406和506。主題模型還可以用來在被引用文檔上執(zhí)行主題匹配搜索以找到主題匹配。

在另一示例中，過程700可以提供固定窗的向量表示(步驟710)。例如，引用解釋設備120和/或文檔設備140可以生成來自固定窗的單詞的向量。單詞的向量可以用來執(zhí)行對被引用文檔內(nèi)的文本的近似匹配搜索，諸如分別用于圖4和5的步驟406和506。近似匹配搜索可以使用來自固定窗的術語的向量?？梢詫⒅黝}模型和/或向量表示存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得主題模型和/或向量表示。過程700將在步驟708-710中生成的主題模型和/或向量表示作為引用聲明(步驟714)輸出到引用解釋設備120和/或文檔設備140。

圖8-9圖示了根據(jù)示例的用于提供被引用文檔的候選片段的過程的流程圖。圖8-9是圖4-5的子過程。盡管下面參考系統(tǒng)100描述了過程800和900的執(zhí)行，但是可以使用用于執(zhí)行過程800和900的至少一個步驟的其他適合的系統(tǒng)和/或設備。例如，下面描述為被系統(tǒng)100執(zhí)行的過程可以由引用解釋設備120、文檔設備140和/或任何其他適合的設備或系統(tǒng)執(zhí)行。可以以存儲在存儲設備上的可執(zhí)行指令的形式和/或以電子電路的形式來實現(xiàn)過程800和900，所述存儲設備諸如機器可讀存儲介質(zhì)。

參考圖8，過程800以引用(步驟802)開始。過程800可以包括引用聲明搜索(步驟804)。例如，引用解釋設備120和/或文檔設備140可以將引用聲明與被引用文檔中的索引進行比較，以便找到將解釋引用聲明的可能位置?？梢詧?zhí)行優(yōu)化來修整候選。用以修整結果的一個方法可以包括確定引用聲明是否被簡單地參考，諸如是否是術語，其中在周圍文本中沒有用以解釋引用聲明的大量附加信息。可以將確定引用聲明是否是術語計算為預處理步驟，諸如圖7的步驟706。在術語示例中，可以針對每個元組＜聲明，doc，loc，expl-ranking＞指派和存儲排名，其中expl-ranking計及聲明在給定“位置”(loc)和被引用文檔(doc)中的“可解釋性”。

在另一示例中，引用解釋設備120和/或文檔設備140可以接收引用聲明，其提供關于引用或引用聲明在其涉及的被引用文檔中的位置的較多細節(jié)，諸如“blei等人，21頁”。在提供了引用或引用聲明的位置的實例中，可以分析引用以獲得具體細節(jié)，例如頁碼、段落或行。引用的具體細節(jié)可能有助于在被引用文檔中搜索引用聲明的任務，用于將搜索限制在指定位置內(nèi)或用以使來自該位置的片段排名較高而不排除也可能支持該聲明的其他片段，諸如提供對引用聲明的較好和/或較差的支持的部分?？梢詫⒁寐暶魉阉鞔鎯υ谥T如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得引用聲明搜索信息和/或結果。

過程800還可以包括生成被引用文檔中的候選片段(步驟806)。例如，引用解釋設備120和/或文檔設備140可以生成被引用文檔中的可以解釋、定義、支持和/或一般提供關于聲明的較多細節(jié)的候選片段?？梢允褂萌舾煞椒▉砩煽赡芷ヅ浜徒忉屢寐暶鞯暮蜻x片段。一個方法是選擇匹配引用聲明的句子。替代地，基于窗的方法選擇包含引用聲明的術語的文本窗。通常，該窗包含引用術語中的一個或若干并且可以跨越句子。

還可以結合片段解釋排名或評分來執(zhí)行片段生成以提供被標識具有充分高的排名或得分的候選片段。例如，如果引用聲明被發(fā)現(xiàn)為短語，則被引用文檔中的短語的發(fā)生將被給予優(yōu)先級。如果不，則將選擇被引用文檔內(nèi)的包含多個查詢術語的窗。評分模型可以組合位置因素與內(nèi)容因素，所述位置因素例如偏愛(favor)文檔的第一段落和段落的第一和最后一句。利用位置因素的評分模型可能著重具有關鍵術語的句子，其作為整體在數(shù)據(jù)集合中具有低的文檔頻率但具有跨特定被引用文檔的高頻率且好的分布。

另外，如果被引用文檔的結構信息和引用聲明的分類信息可用，則結構信息可以用來生成遵守被引用文檔的結構和引用聲明的分類的候選片段。例如，如果引用聲明是“定義”，則片段生成可以僅觀察被引用文檔的定義。例如，可能在被圖示為步驟的使用在引用聲明搜索(步驟804)和/或被引用文檔的索引(步驟822)期間分析的結構信息中涉及若干步驟?？梢詫⑴c候選片段的生成相關聯(lián)的步驟和/或數(shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得與候選片段的生成相關聯(lián)的步驟和/或數(shù)據(jù)。

過程800還可以包括片段可解釋性排名(步驟808)。例如，引用解釋設備120和/或文檔設備140可以計算可解釋性排名或得分，其捕捉具體片段是對引用的好的解釋的可能性。通過考慮若干因素來計算排名或得分，所述若干因素包括：1)內(nèi)容因素，其著重具有關鍵術語的句子，所述句子作為整體在集合中具有低的文檔頻率，但具有跨被返回的特定文檔的高頻率且好的分布；2)結構和分類信息，其偏愛文檔的匹配聲明的分類的部分；3)位置或定位因素，例如，其偏愛文檔的第一個和最后一個段落以及段落的第一句和最后一句；以及4)片段的信息價值，其捕捉片段顯露和/或包含關于引用聲明的多少信息。例如，該片段“定義”引用聲明還是僅使用它？與通過引用聲明本身已知的東西相比，該片段提供更多關于引用聲明的信息嗎？

如下是用以計算針對引用聲明c的片段s的可解釋性排名或得分的公式的示例：explainability(s，c)＝m*(1/pos(s))*sim(c，s)+n*class_sim(c，s)+k*inf(s)，m+n+k＝1，其中pos(s)是片段的位置，sim(c，s)是(例如，使用余弦或杰卡德指數(shù)計算的)c與s之間的內(nèi)容類似性，例如如果c和s屬于同一結構分類，則class_sim(c，s)是1，并且否則是0，inf(s)是s的定義為|length(s)-length(c)|/length(c)的信息價值。針對信息價值的其他度量可以考慮信息增益和/或信息熵。最后，m、n、k是公式中的調(diào)整參數(shù)?？梢詫⑵慰山忉屝耘琶鎯υ谥T如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得片段可解釋性排名。

在已經(jīng)完成片段可解釋性排名之后，過程800可以推薦被引用文檔中的(一個或多個)片段(步驟810)。例如，引用解釋設備120和/或文檔設備140可以提供解釋引用的最佳候選片段或頭等候選片段?？梢詫?一個或多個)被推薦片段存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得(一個或多個)被推薦片段。可以將被引用文檔的被推薦片段嵌入到原始文檔中供讀者參考。

過程800還可以包括獲得被引用文檔(步驟820)。例如，引用解釋設備120和/或文檔設備140可以使用對外部或內(nèi)部來源的查詢來獲得被引用文檔?？梢詫⒈灰梦臋n存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得被引用文檔。

過程800還可以包括索引被引用文檔(步驟822)。例如，引用解釋設備120和/或文檔設備140可以分析被引用文檔以生成將用于使聲明與文檔匹配的索引。索引保持關于在文檔中找到的單詞、發(fā)生統(tǒng)計以及文檔中的單詞位置的信息。索引可以使得能實現(xiàn)早期修整，諸如忽略文檔的具有低解釋性值的部分的確定，所述部分比如參考、摘要、標題和/或圖形說明?？梢詫⑺饕龜?shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得索引數(shù)據(jù)?？梢栽谝寐暶魉阉鞑襟E804之前獲得索引數(shù)據(jù)并將其用在引用聲明搜索中以改善結果。參考圖9，過程900以引用(步驟902)開始。過程900可以包括與上面在圖8中討論的引用聲明搜索(步驟804)類似的引用聲明搜索(步驟904)，以及與上面在圖8中討論的被引用文檔中的候選片段的生成(步驟806)類似的所述生成(步驟906)。過程900可以包括與在圖8中討論的被引用文檔中的候選片段的生成(步驟806)類似的所述生成(步驟906)。過程900還可以包括與圖8中的片段可解釋性排名(步驟808)類似的片段可解釋性排名(步驟908)；然而，圖9可以改善步驟908的片段可解釋性排名。

過程900可以合并片段(步驟910)。例如，引用解釋設備120和/或文檔設備140可以將片段迭代地組合成具有較高可解釋性得分的較大片段。例如，在所生成的片段部分地覆蓋引用聲明并且可能需要所提議的候選片段的組合來解釋引用聲明時，合并可能是必要的。在另一示例中，可能期望與一列引用相關的細節(jié)。在該實例中，可能需要針對所有被引用文檔執(zhí)行引用聲明搜索(步驟904)、被引用文檔中的候選片段的生成(步驟906)的步驟。在執(zhí)行所述步驟之后，可以將來自被引用文檔的候選片段組合成單個響應，經(jīng)修訂的候選片段。

過程900還可以包括片段可解釋性重新排名(步驟912)，其在經(jīng)修訂的候選片段上重復片段可解釋性排名(步驟908)的過程。在需要來自一個或多個被引用文檔的多于一個片段來生成好的解釋時，合并片段和對片段重新排名是有用的。可以將得到的合并片段和片段可解釋性重新排名數(shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得合并片段和片段可解釋性重新排名。在已經(jīng)完成片段可解釋性重新排名之后，過程900可以推薦被引用文檔中的(一個或多個)片段(步驟914)?？梢詫⒈灰梦臋n的被推薦片段嵌入到原始文檔中供讀者參考。

過程900還可以包括獲得被引用文檔(步驟920)。例如，引用解釋設備120和/或文檔設備140可以使用對外部和/或內(nèi)部來源的查詢來獲得被引用文檔?？梢詫⒈灰梦臋n存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得被引用文檔。

過程900還可以包括索引被引用文檔(步驟922)，其類似于與在圖8中對文檔的索引(步驟822)。過程900可以進一步包括文檔結構分析(步驟924)。例如，引用解釋設備120和/或文檔設備140可以在結構上分析被引用文檔。步驟924步驟的輸出是文檔的結構表示，諸如捕捉例如章節(jié)、段落、句子、定義、定理和/或算法的文檔對象模型(dom)樹。文檔的結構信息和聲明的分類信息如果可用則可以用于生成候選片段和對候選片段進行排名。例如，如果聲明是定義，則文檔結構分析尋找文檔的定義。可以將文檔結構數(shù)據(jù)存儲在諸如數(shù)據(jù)庫160之類的存儲設備中，并且引用解釋設備120和/或文檔設備140可以查詢數(shù)據(jù)庫160以獲得文檔結構數(shù)據(jù)?？梢栽谝寐暶魉阉鞑襟E904之前獲得索引數(shù)據(jù)并將其用在引用聲明搜索中以改善結果。

圖10-12圖示了根據(jù)示例的引用解釋1000的示意圖。圖10示出了用以在用戶當前閱讀的引用文檔內(nèi)顯示解釋的可能方式。當用戶選擇例如點擊原始文檔1004中的引用1002或在停懸在其上時，出現(xiàn)顯示被引用文檔1006和該文檔的部分的窗，所述部分表示根據(jù)片段的可解釋性得分而高亮1008的被推薦片段。被引用文檔1006中的高亮片段的數(shù)目是可調(diào)整的參數(shù)?？赡艿氖莾H高亮1008文檔的包含具有最高得分的片段的部分，如圖10中那樣，或者高亮1008包含排名頭等的片段的多個部分，如圖11-12中那樣。

參考圖11，高亮1008被引用文檔1006的多個部分。如果需要多于一個片段來解釋或定義引用聲明。圖11示出示例，其中已經(jīng)在可能跨越多個頁面或被引用文檔1006的多于一個部分中發(fā)現(xiàn)且高亮1008提供信息的片段或被推薦片段，所述頁面諸如一個或多個文檔中的頁面、網(wǎng)站的web頁面。除了使片段高亮之外，還可以通過書簽1110來準確定位頁面。在圖11中圖示的示例中，代替呈現(xiàn)跨文檔頁面的大量被推薦片段，可能的是僅示出撰寫的片段概要，作為在圖9的片段合并和重新排名(步驟910-912)期間準備的解釋。

圖12示出在引用1002由若干指示字組成時的示例接口，在本示例中如引用“[9，16，271”。在圖12中，提供了被引用文檔1006的列表1220的視覺表示。用戶可以瀏覽選項并且選擇一個引用1222來學習，諸如文檔16。圖12圖示了包含關于被引用文檔1006的信息的選項的示例列表1220，所述選項諸如標題、在文檔中找到的聲明及其可解釋性得分、被引用文檔1006的位置，諸如本地盤、web或云。列表1220可以包含其他屬性，諸如文檔性質(zhì)和用于標識引用聲明的分析的結果。如果文檔包含放在各種頁面上的多個片段，則可以組合圖11-12的接口。此外，可以擴展接口以示出包含多于一個被高亮的部分1008的文檔和/或示出對單個引用聲明的解釋跨越多個文檔的情況，即列表1220。替代地，可以向用戶示出根據(jù)所有文檔撰寫的概要。

所公開的示例可以包括系統(tǒng)、設備、計算機可讀存儲介質(zhì)和用于提供引用解釋的方法。出于解釋的目的，參考圖1-3中圖示的組件描述了某些示例。然而，所圖示的組件的功能可以重疊，并且可以存在于較小或較大數(shù)目的元件和組件中。進一步地，所圖示的元件的功能的全部或部分可以共存或分布在若干地理上分散的位置之中。此外，可以在各種環(huán)境中實現(xiàn)所公開的示例并且其不限于所圖示的示例。

此外，如在說明書和所附權利要求書中使用的那樣，意圖單數(shù)形式“一”、“一個”和“該”也包括復數(shù)形式，除非上下文另外指示。另外，盡管可以在本文中使用術語第一、第二等描述各種元件，但是這些元件不應該被該術語限制。代之以，這些術語用來將一個元件與另一個區(qū)分開。

進一步地，結合圖1-12描述的操作的序列是示例并且不意圖是限制性的。附加的或較少的操作或者操作的組合可以被使用或可以變化而不背離所公開的示例的范圍。因此，本公開僅闡述了實現(xiàn)的可能示例，并且可以對所描述的示例做出許多變化和修改。意圖使所有這樣的修改和變化包括在本申請的范圍內(nèi)并且由以下權利要求書保護。