一種基于概率主題模型的文本圖像聯(lián)合語義分析方法
【專利說明】一種基于概率主題模型的文本圖像聯(lián)合語義分析方法 所屬技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計算機視覺、模式分析和人工智能等領(lǐng)域中的文本圖像語義分析方 法，具體而言，特別是涉及基于概率主題模型的文本圖像聯(lián)合語義分析方法。
【背景技術(shù)】
[0002] 圖像理解（ImageUnderstanding,IU)就是對圖像的語義解釋。它是以圖像為對 象，知識為核心，研宄圖像中何位置有何目標（whatiswhere)、目標場景之間的相互關(guān) 系、圖像是何場景以及如何應(yīng)用場景的一門科學(xué)。圖像理解輸入的是數(shù)據(jù)，輸出的是知識， 屬于圖像研宄領(lǐng)域的高層內(nèi)容[1] [2]。語義（Semantics)作為知識信息的基本描述載體， 能將完整的圖像內(nèi)容轉(zhuǎn)換成可直觀理解的類文本語言表達，在圖像理解中起著至關(guān)重要 的作用。
[0003] 圖像理解中的語義分析在應(yīng)用領(lǐng)域的潛力是巨大的。圖像中豐富的語義知識可提 供較精確的圖像搜索引擎（SearchingEngine),生成智能的數(shù)字圖像相冊和虛擬世界中的 視覺場景描述。同時，在圖像理解本體的研宄中，可有效形成"數(shù)據(jù)_知識"的相互驅(qū)動體 系，包含有意義的上下文（Context)信息和層狀結(jié)構(gòu)（HierarchicalStructured)信息， 能更快速、更準確地識別和檢測出場景中的特定目標。
[0004] 盡管語義分析在圖像理解中處于非常重要的位置，但傳統(tǒng)的圖像分析方法基本 上全部回避了語義問題，僅針對純粹的圖像數(shù)據(jù)進行分析。宄其原因主要集中于兩方 面：1)圖像的視覺表達和語義之間很難建立合理關(guān)聯(lián)，描述實體間產(chǎn)生巨大的語義鴻溝 (SemanticGap) ;2)語義本身具有表達的多義性和不確定性（Ambiguity)。目前，越來越 多的研宄已開始關(guān)注上述瓶頸，并致力于有效模型和方法以實現(xiàn)圖像理解中的語義表。
[0005] 解決圖像理解中的語義鴻溝需要建立圖像和文本之間的對應(yīng)關(guān)系，解決的思路 可大致分為三類.第一條思路側(cè)重于圖像本身的研宄，通過構(gòu)建和圖像內(nèi)容相一致的模型 或方法，將語義隱式地（Implicitly)融入其中，建立"文本到圖像"的有向聯(lián)系，核心在 于如何將語義融于模型和方法中。采用此策略形成的研宄成果多集中于生成（Generative) 方式和判別（^Discriminative)方式中。第二條思路從語義本身的句法（Grammar)表達和 結(jié)構(gòu)關(guān)系入手，分析其組成及相互關(guān)系，通過建立與之類似的圖像視覺元素結(jié)構(gòu)表達，將 語義描述和分析方法顯式地（Explicitly)植入包含句法關(guān)系的視覺圖中，建立"圖像到文 本"的有向聯(lián)系。核心在于如何構(gòu)建符合語義規(guī)則的視覺關(guān)系圖。第三條思路面向應(yīng)用， 以基于內(nèi)容的圖像檢索（ImageRetrieval)為核心，增加語義詞匯規(guī)模，構(gòu)建多語義多用 戶多進程的圖像檢索查詢系統(tǒng)。
[0006] 解決語義本身的多義性問題需要建立合理的描述規(guī)范和結(jié)構(gòu)體系。Princeton大 學(xué)的認知學(xué)者和語言學(xué)家早在20世紀80年代就研宄構(gòu)建了較合理統(tǒng)一的類樹狀結(jié)構(gòu)[3]。 如今已被視為視覺圖像研宄領(lǐng)域公認的語義關(guān)系參考標準，用于大規(guī)模圖像數(shù)據(jù)集的設(shè) 計和標記中，有效歸類統(tǒng)一了多義性詞語。此外，一些客觀的語義檢索評價標準也在積極 的探索過程中。
[0007] 語義的客觀評價是衡量算法優(yōu)劣的重要過程。傳統(tǒng)方法一般針對有限語義類別進 行查全率/查準率評價，判斷場景中的目標出現(xiàn)與否，兩個評價指標形成的查全率/查準 率曲線（Recall Precision Curve，RPC) -般作為基本的評價對象。
[0008] 本專利主要解決圖像理解中的語義鴻溝，建立圖像和文本之間的對應(yīng)關(guān)系，借鑒 文本語義分析中的概率主題模型分析方法得到文本圖像聯(lián)合語義分析方法，屬于圖像語義 分析的生成方法。文本的語義理解到今天已經(jīng)發(fā)展的比較成熟，有概率隱語義分析（PLSA) [4] [5]模型和隱狄利克雷分析（LDA) [6]模型，結(jié)合文本和圖像的應(yīng)用有將概率主題模型 應(yīng)用到文本豐富上[7] [8] [9]，但都不是針對圖像的語義理解。
[0009] 借鑒文本分析策略，首先需要構(gòu)建與之相對應(yīng)的對象，整幅圖像（Image)對應(yīng) 整篇文檔（Document)，而文檔中的詞匯（Lexicon)也需要對應(yīng)相應(yīng)的視覺詞匯（Visual Word).視覺詞匯的獲取一般通過對圖像信息的顯著性分析提取圖像的低層特征，低層特 征大多從圖像數(shù)據(jù)獲取，包括簡單的點線面特征和一些特殊的復(fù)雜特征，再由魯棒的特征 表達方式生成合適的視覺詞匯，視覺詞匯一般具有高重用性和若干不變特性。
[0010] 參考文獻：
[0011] [1]J. Gao, Z. Xie. Image Understanding Theory and Approach. Beijing,China:Science Press,2009 (in Chinese).
[0012] [2] Z. Xie, J. Gao. A Novel Method for Scene Categorization with Constraint Mechanism Based on Gaussian Statistical Model[J]. Acta Electronica Sinica,2009(in Chinese).
[0013] [3]D. Cruse. Lexical Semantics.Cambridge,UK:Cambridge University Press, 1986.
[0014] [4]T. Hofmann. Unsupervised Learning by Probabilistic Latent Semantic Analysis[J]. Machine Learning, 2001.
[0015] [5]T. Hofmann. Probabilistic Latent Semantic Indexing[C] ? Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence. Stockholm, Netherlands,1999.
[0016] [6] D. M. Blei, A. Y. Ng, M. I. Jordan. Latent Dirichlet Allocation [J]. Journal of Machine Learning Research, 2003.
[0017] [7]M. Bressan, G. Csurka, Y. Hoppenot, J. M. Renders. Travel Blog Assistant System (TBAS)-An Example Scenario of How to Enrich Text with Images and Images with Text using Online Multimedia Repositories[C]. VISAPP Workshop on Metadata Mining for Image Understanding, 2008.
[0018] [8]Y. Pang, X. Lu, Y. Yuan, X. Li. Travelogue enriching and scenic spot overview based on textual and visual topic models[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2011.
[0019] [9]Y. Pang, Q. Hao, Y. Yuan, T. Hu, R. Cai, L. Zhang. Summarizing tourist destinations by mining user-generated travelogues and photos[J]. Computer Vision and Image Understanding,2011.
[0020] [10]Z.Xie,J. Gao. Object Localization Based on Visual Statistical Probabilistic Models[J]. Journal of Image and Graphics, 2007, 12(7):1234-1242(in Chinese).
[0021] [11]P. Moravech. Obstacle Avoidanc