專利名稱：一種多媒體檢索系統(tǒng)及其檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于計算機(jī)的數(shù)據(jù)檢索技術(shù)，更具體地說，涉及一種多媒體檢 索系統(tǒng)及其檢索方法。
背景技術(shù)：
從手工檢索到互聯(lián)網(wǎng)搜索引擎，計算機(jī)網(wǎng)絡(luò)的發(fā)展為檢索方式帶來了革命
性的變化。無論是Google公司的股票市值還是微軟Vista操作系統(tǒng)中無處不在 的搜索欄，都無不說明，搜索時代正向我們走來。
作為互聯(lián)網(wǎng)搜索引擎的一個重要部分，搜索數(shù)據(jù)庫中存儲了大量的數(shù)據(jù)記 錄，這其中既包括文字信息，也包括語音信息、視頻信息等多媒體信息，借助 高效的搜索算法和遍及全球的互聯(lián)網(wǎng)絡(luò)，互聯(lián)網(wǎng)搜索引擎正在發(fā)展成為人類歷 史上最大的百科全書。
然而，盡管搜索數(shù)據(jù)庫中存儲了大量的多媒體信息，但其搜索關(guān)鍵字仍然 只能采用文字方式，搜索手段顯得過于單一。此外，目前的搜索技術(shù)尚不能輸 出關(guān)鍵字對應(yīng)各種自然語言的文字及語音表達(dá)形式，因此無法消除搜索結(jié)果中 存在的外語瓶頸。
因此，需要一種檢索系統(tǒng)，可采用多種形式的關(guān)鍵字作為搜索手段，并且 能夠輸出關(guān)鍵字的各種自然語言表達(dá)形式。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有搜索技術(shù)搜索手段顯得過于單一 且無法輸出關(guān)鍵字各種自然語言語音表達(dá)形式的缺陷，提供一種多媒體檢索系 統(tǒng)及其檢索方法。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是構(gòu)造一種多媒體檢索系統(tǒng)，包括輸入端和輸出端，還包括
識別器，通過輸入端接收多媒體關(guān)鍵字，查找與其對應(yīng)的索引條目，發(fā)出 包含該索引條目的檢索指令；
多媒體數(shù)據(jù)庫，接收檢索指令，查找并通過輸出端輸出包含所述索引條目 的多媒體記錄。
在本發(fā)明所述的系統(tǒng)中，所述識別器包括
類型判斷模塊；
至少一個匹配模塊；
類型判斷模塊判斷所述多媒體關(guān)鍵字的類型，將其發(fā)往與其類型對應(yīng)的匹 配模塊。
在本發(fā)明所述的系統(tǒng)中，所述至少一個匹配模塊包括下列匹配模塊中的至 少一種
文字匹配模塊； 語音匹配模塊；及
圖片匹配模塊。
在本發(fā)明所述的系統(tǒng)中，所述輸入端包括
簡化輸入模塊，接收簡化輸入的多媒體關(guān)鍵字，生成與其對應(yīng)的多媒體關(guān) 鍵字。
在本發(fā)明所述的系統(tǒng)中，
所述簡化輸入的多媒體關(guān)鍵字包括構(gòu)字元素信息；
所述簡化輸入模塊包括
字符生成模塊，接收構(gòu)字元素信息，査找字符映射表，生成其對應(yīng)的 字符。
在本發(fā)明所述的系統(tǒng)中，
所述簡化輸入的多媒體關(guān)鍵字包括構(gòu)句字符信息；
所述簡化輸入模塊包括
語句生成模塊，接收構(gòu)句字符信息，査找語句映射表，生成其對應(yīng)的語句。在本發(fā)明所述的系統(tǒng)中，
所述簡化輸入的多媒體關(guān)鍵字包括語音片段和語音命令； 所述簡化輸入模塊包括
語音生成模塊，接收所述語音片段和語音命令，查找語音映射表，生 成對應(yīng)的語音內(nèi)容。
在本發(fā)明所述的系統(tǒng)中，所述輸入端包括
數(shù)據(jù)錄入模塊，通過所述輸入端接收多媒體信息或指令代碼，生成多媒體 記錄或操作指令。
在本發(fā)明所述的系統(tǒng)中，所述多媒體記錄包括文字信息、語音信息和圖片 信息中的至少一種；所述語音信息包括多種自然語言語音信息。 本發(fā)明還提供了一種多媒體檢索方法，包括如下步驟
A、 接收多媒體關(guān)鍵字；
B、 查找對應(yīng)上述多媒體關(guān)鍵字的索引條目，發(fā)出包含索引條目的檢索指
C、 查找包含上述索引條目的多媒體記錄；
D、 輸出找到的多媒體記錄。
實施本發(fā)明的一種多媒體檢索系統(tǒng)及其檢索方法，具有以下有益效果，多 媒體關(guān)鍵字方式可豐富搜索手段，多語言表達(dá)有助于突破外語瓶頸。


下面將結(jié)合附圖及實施例對本發(fā)明作進(jìn)一步說明，附圖中
圖1是本發(fā)明多媒體輸入輸出轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)示意圖2是本發(fā)明多媒體輸入輸出轉(zhuǎn)換系統(tǒng)工作過程的流程圖。
具體實施例方式
按照本發(fā)明提供的一種多媒體檢索系統(tǒng)的實施例，能夠以文字、語音和圖 片等多種格式的信息作為關(guān)鍵字進(jìn)行搜索，并可輸出關(guān)鍵字的各種自然語言表 達(dá)形式，下面便結(jié)合附圖對其進(jìn)行描述。圖1是本發(fā)明多媒體檢索系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，本發(fā)明多媒體
檢索系統(tǒng)包括輸入端100、識別器102、多媒體數(shù)據(jù)庫104和輸出端106。其 中輸入端100進(jìn)一步包括數(shù)據(jù)錄入模塊1002、字符生成模塊1004、語句生成 模塊1006和語音生成模塊1008;識別器102進(jìn)一步包括類型判斷模塊1020、 文字匹配模塊1022、語音匹配模塊1024和圖片匹配模塊1026。
輸入端IOO用于接收多媒體關(guān)鍵字，該多媒體關(guān)鍵字可以是文字關(guān)鍵字、 語音關(guān)鍵字或圖片關(guān)鍵字等多媒體信息。特別的，當(dāng)輸入信息為文字關(guān)鍵字時， 本發(fā)明還特別提供了一種"自由寫"方案，即該文字關(guān)鍵字還可以是通常文字 內(nèi)容的簡化輸入，例如，在筆劃輸入法下，如果用戶想要輸入"侶"字，則可 以簡化輸入M 口"，然后由字符生成模塊1004查找字符映射表中包含M 口" 的漢字，并自動輸出"侶"字。同時，如果用戶想要輸入一個短語，也可按照 上述方式來實現(xiàn)，例如，在筆劃輸入法下，如果用戶想要輸入"中華人民共和 國"，則可以通過"自由寫"方案簡化輸入"口.人h.口"，其中"口"代 表"中"字的一部分，"口"代表"國"字的一部分，" "為省略符。這時， 字符生成模塊1004接收輸入后，査找語句映射表中包含"口"、"人"、"口" 這些部首、字符數(shù)為7、且字符位置與輸入信息所指代的字符的位置一致(即 "中"的位置是1、"人"的位置是3、"國"的位置是7)的語句，并自動輸 出"中華人民共和國"。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，除筆劃輸入法外， 本發(fā)明揭露的文字簡化輸入方法也適用于拼音輸入法、三筆輸入法、積木輸入 法、五筆字形輸入法等其他輸入法，只要輸入對應(yīng)的構(gòu)字元素信息(如拼音等) 即可。如果用戶想要輸入的是一個短語，例如"中華人民共和國"，則可以簡 化輸入為"中 人 國"，其中"中"、"人"、"國"為構(gòu)句字符信息，" " 為省略符，這種方式稱為指定格式的簡化輸入，這時，語句簡化輸入模塊1006 接收輸入后，查找語句映射表中包含字符"中"、"人"、"國"、字符數(shù)為7、 且字符位置與輸入信息中字符位置一致(即"中"的位置是1、"人"的位置 是3、"國"的位置是7)的語句，并自動輸出"中華人民共和國"。除這種方
式外，用戶還可直接簡化輸入"中華....."(查找語句簡化輸入表中以"中華"
開頭、且字符數(shù)7的語句)等其他簡化輸入信息。除上文講述的簡化輸入過程之外，輸入方式還進(jìn)一步簡化，例如，如果語句映射表中存有"熱烈慶祝中國 共產(chǎn)黨第十五次全國代表大會勝利召開"這樣一句話及其簡化輸入"熱一一五 ——開"，則用戶可以直接輸入"熱——五一一開"；如果語句映射表中存有"中 國共產(chǎn)黨第十七次全國代表大會在選舉產(chǎn)生新一屆中央委員會和中央紀(jì)律檢 査委員會，通過關(guān)于十六屆中央委員會報告的決議、關(guān)于中央紀(jì)律檢查委員會 工作報告的決議、關(guān)于《中國共產(chǎn)黨章程(修正案)》的決議后，2 1日上午
在人民大會堂勝利閉幕"這樣一段話及其簡化輸入"中——21——幕"，則用 戶可以直接輸入"中——21——幕"。同樣的情況也適用于語音輸入，用戶可 輸入一段簡短的語音片段和簡化輸入命令如"至"等，再由語音生成模塊1008 查找語音映射表中與之匹配的語音信息，并輸出。例如，如果語音映射表中存 儲有"中國共產(chǎn)黨第十七次全國代表大會在選舉產(chǎn)生新一屆中央委員會和中央 紀(jì)律檢査委員會，通過關(guān)于十六屆中央委員會報告的決議、關(guān)于中央紀(jì)律檢査 委員會工作報告的決議、關(guān)于《中國共產(chǎn)黨章程(修正案)》的決議后，2 1 日上午在人民大會堂勝利閉幕"這樣一段話及其簡化輸入"中國共產(chǎn)黨第十七 次全國代表大會在選舉產(chǎn)生新一屆中央委員會和中央紀(jì)律檢查委員會至勝 利閉幕"，其中"至"為簡化輸入命令，則用戶可直接語音輸入"中國共產(chǎn)黨 第十七次全國代表大會在選舉產(chǎn)生新一屆中央委員會和中央紀(jì)律檢查委員會 至勝利閉幕"。用戶可通過數(shù)據(jù)錄入模塊1002事先將文字、語句或語音及其 對應(yīng)的簡化輸入分別輸入到文字映射表、語句映射表或語音映射表中，然后在 輸入時直接輸入其簡化輸入即可。需要注意的是，在各種簡化輸入表中，同一 內(nèi)容可以對應(yīng)多個簡化輸入，例如對于"中國共產(chǎn)黨第十七次全國代表大會在 選舉產(chǎn)生新一屆中央委員會和中央紀(jì)律檢查委員會，通過關(guān)于十六屆中央委員 會報告的決議、關(guān)于中央紀(jì)律檢查委員會工作報告的決議、關(guān)于《中國共產(chǎn)黨 章程(修正案)》的決議后，2 1日上午在人民大會堂勝利閉幕"這樣一段話， 其簡化輸入可以是例如但不限于"中——21——幕"、"中——21——幕"、"中 ——21 "、"中——21日 "、"中——幕"、"中 幕"。同時，省略
符也并非僅限于上文提到的"——"、"……"、" "等，還可以是其他易于輸 入的符號。上述簡化輸入方案統(tǒng)稱為"自由寫"方案。識別器102通過輸入端100接收多媒體關(guān)鍵字，查找與多媒體關(guān)鍵字對應(yīng) 的索引條目，發(fā)出包含索引條目的檢索指令。其中，類型判斷模塊1020用于 判斷多媒體關(guān)鍵字的類型，即判斷該多媒體關(guān)鍵字是文字關(guān)鍵字、語音關(guān)鍵字 還是圖片關(guān)鍵字，然后將其發(fā)往對應(yīng)的匹配模塊，即將文字信息發(fā)往文字匹配
模塊1022，語音信息發(fā)往語音匹配模塊1024，圖片信息發(fā)往圖片匹配模塊 1026。各種匹配模塊收到多媒體關(guān)鍵字后，各自在自身的索引表如文字索引表、 語音索引表、圖片索引表中查找對應(yīng)的索引條目，然后發(fā)出包含索引條目的檢 索指令。
多媒體數(shù)據(jù)庫104中存儲有多媒體記錄，每條多媒體記錄中包含文字信 息、語音信息和圖片信息。其中，文字信息可包括同一段文字內(nèi)容的多國語言 文字表示，如中文(繁體/簡體)、英文、日文、韓文、德文、法文等，例如對 對于詞語"中國"，其繁體中文、英文、日文、韓文中的表示分別為"中國"、 "china"、 " 6 ^ , r < "和"^3"。語音記錄可包括同一段語音內(nèi)容的多國
語言語音，如中文(繁體/簡體)、英文、日文、韓文、德文、法文語言語音等， 其中，中文又可進(jìn)一步分為普通話、廣東話、廣州話、潮州話、客家話、地方 民族語言語音等。多媒體數(shù)據(jù)庫104收到檢索指令后，按照其中的索引條目查 找對應(yīng)的多媒體記錄并發(fā)往輸出端106。輸出端106收到多媒體記錄后，顯示 其中的文字記錄和圖片記錄，并播放語音記錄。作為選擇，輸出端106還可通 過輸入端100接收的輸出命令，按照輸出命令的要求輸出多媒體記錄，例如， 如果輸出命令僅要求輸出文字記錄，則輸出端106僅輸出文字記錄。
用戶還可通過輸入端100中的數(shù)據(jù)錄入模塊1002錄入多媒體記錄。例如， 如果用戶需要錄入"鴿子"這一記錄，則可分別輸入文字記錄如"鴿子"、語 音記錄如"鴿子"的發(fā)音以及圖片記錄如"鴿子的圖片"。此外，用戶還可通 過數(shù)據(jù)錄入模塊1002輸入指令代碼，以及該指令代碼對應(yīng)的命令行或者語音 指令，生成用戶自制的命令行命令或者語音指令。
圖2是本發(fā)明多媒體檢索系統(tǒng)工作過程的流程圖。如圖2所示，本流程開 始于步驟200，接收多媒體關(guān)鍵字，該多媒體關(guān)鍵字可以是文字信息、語音信 息或圖片信息等多媒體信息，例如，多媒體關(guān)鍵字可以是文字"猴子"、"猴子"的讀音或"猴子"的圖片。在步驟202，識別輸入的多媒體關(guān)鍵字，查找對應(yīng) 的索引條目，即以輸入關(guān)鍵字查找包含該關(guān)鍵字的索引條目。在找到對應(yīng)的索
引條目后，將其封裝在檢索指令發(fā)出。在步驟204，接收檢索指令，査找對應(yīng) 索引條目的多媒體記錄。在步驟206，輸出多媒體記錄。作為選擇，可依據(jù)用 戶需要輸出多媒體記錄中的內(nèi)容。例如如果多媒體關(guān)鍵字是"猴子"的圖片， 用戶要求輸出該圖片對應(yīng)的拼音、輸入法信息、英文及普通話讀音，則將輸出 拼音(houzi)、五筆(qtbb)、三筆(qrzv)、英語(monkey)及"猴子"普通話 的讀音。又例如，多媒體關(guān)鍵字是文字"美國"，用戶要求輸出對應(yīng)的拼音、輸 入法信息、英文、日文及日語讀音，則將輸出拼音(meiguo)、五筆(khlg)、 三筆(ewow)、英語(usa)和日語(7 乂 U力)。再例如，輸入多媒體關(guān)鍵字 是文字"中國"，用戶要求輸出對應(yīng)的英文、韓文，則將輸出英語(china)和韓 語(望e)。此外，多媒體關(guān)鍵字還可以是外文，例如，多媒體關(guān)鍵字為英文 (USA)，要求輸出日文，則將輸出"7 乂 U力"。特別的，本發(fā)明還可以以普 通話為輸入，以地方方言為輸出。例如，輸入普通話語音"你在哪里？"，輸 出粵語語音"你喺邊度？"。此外，還可以以地方方言為輸入，以普通話為輸 出。例如輸入粵語語音"我哋"，輸出普通話語音"我們"。
本系統(tǒng)可集成到多種應(yīng)用之中，如本系統(tǒng)可以軟件方式集成在電話、電腦 上的現(xiàn)有QQ、 msn等聊天軟件中，這樣一來，互換轉(zhuǎn)化輸出便可使雙方都能 看懂對方的語言文字，以及能聽懂對方的語言。例如雙方用戶中一方在中國而 另一方在韓國，雙方只懂得自身的語言，即中方只懂中文普通話，韓方只懂韓 文。那么雙方可設(shè)置以己方文字輸入，以對方文字輸出，中方設(shè)置中文和普通 話輸入，輸出韓文顯示和韓語讀音，韓方設(shè)置韓文和韓語讀音輸入，輸出中文 顯示和普通話讀音。這樣一來便可解決雙方之間的溝通障礙。
本發(fā)明還可通過硬件方式實現(xiàn)。例如，本發(fā)明可實現(xiàn)為便攜式系統(tǒng)，在外 出旅游時，如果不懂當(dāng)?shù)卣Z言則可借助對系統(tǒng)的設(shè)置，實現(xiàn)以己方文字輸入， 以當(dāng)?shù)匚淖州敵龅哪康摹?br> 本發(fā)明可以通過硬件、軟件，或者軟、硬件結(jié)合來實現(xiàn)。本發(fā)明可以在至 少一個計算機(jī)系統(tǒng)中以集中方式實現(xiàn)，或者由分布在幾個互連的計算機(jī)系統(tǒng)中的不同部分以分散方式實現(xiàn)。任何可以實現(xiàn)所述方法的計算機(jī)系統(tǒng)或其它設(shè)備 都是可適用的。常用軟硬件的結(jié)合可以是安裝有計算機(jī)程序的通用計算機(jī)系 統(tǒng)，通過安裝和執(zhí)行所述程序控制計算機(jī)系統(tǒng)，使其按所述方法運行。在計算 機(jī)系統(tǒng)中，利用處理器和存儲單元來實現(xiàn)所述方法。
本發(fā)明還可以通過計算機(jī)程序產(chǎn)品進(jìn)行實施，所述程序包含能夠?qū)崿F(xiàn)本發(fā) 明方法的全部特征，當(dāng)其安裝到計算機(jī)系統(tǒng)中時，通過運行，可以實現(xiàn)本發(fā)明 的方法。本申請文件中的計算機(jī)程序所指的是可以采用任何程序語言、代碼 或符號編寫的一組指令的任何表達(dá)式，該指令組使系統(tǒng)具有信息處理能力，以 直接實現(xiàn)特定功能，或在進(jìn)行下述一個或兩個步驟之后，a)轉(zhuǎn)換成其它語言、 編碼或符號；b)以不同的格式再現(xiàn)，實現(xiàn)特定功能。
本發(fā)明是通過幾個具體實施例進(jìn)行說明的，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，在 不脫離本發(fā)明范圍的情況下，還可以對本發(fā)明進(jìn)行各種變換及等同替代。另外， 針對特定情形或具體情況，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。 因此，本發(fā)明不局限于所公開的具體實施例，而應(yīng)當(dāng)包括落入本發(fā)明權(quán)利要求 范圍內(nèi)的個部實施方式。
權(quán)利要求
1、一種多媒體檢索系統(tǒng)，包括輸入端和輸出端，其特征在于，還包括識別器，通過輸入端接收多媒體關(guān)鍵字，查找與其對應(yīng)的索引條目，發(fā)出包含該索引條目的檢索指令；多媒體數(shù)據(jù)庫，接收檢索指令，查找并通過輸出端輸出包含所述索引條目的多媒體記錄。
2、 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述識別器包括 類型判斷模塊；至少一個匹配模塊；類型判斷模塊判斷所述多媒體關(guān)鍵字的類型，將其發(fā)往與其類型對應(yīng)的匹 配模塊。
3、 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述至少一個匹配模塊包 括下列匹配模塊中的至少一種文字匹配模塊； 語音匹配模塊；及圖片匹配模塊。
4、 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述輸入端包括 簡化輸入模塊，接收簡化輸入的多媒體關(guān)鍵字，生成與其對應(yīng)的多媒體關(guān)鍵字。
5、根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述簡化輸入的多媒體關(guān)鍵字包括構(gòu)字元素信息；所述簡化輸入模塊包括字符生成模塊，接收構(gòu)字元素信息，查找字符映射表，生成其對應(yīng)的字符 或語句。
6、根據(jù)權(quán)利要求4或5所述的系統(tǒng)，其特征在于，所述簡化輸入的多媒體關(guān)鍵字包括構(gòu)句字符信息；所述簡化輸入模塊包括語句生成模塊，接收構(gòu)句字符信息，查找語句映射表，生成其對應(yīng)的 語句。
7、 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于， 所述簡化輸入的多媒體關(guān)鍵字包括語音片段和語音命令； 所述簡化輸入模塊包括語音生成模塊，接收所述語音片段和語音命令，查找語音映射表，生成對 應(yīng)的語音內(nèi)容。
8、 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述輸入端包括 數(shù)據(jù)錄入模塊，通過所述輸入端接收多媒體信息或指令代碼，生成多媒體記錄或操作指令。
9、 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述多媒體記錄包括文字 信息、語音信息和圖片信息中的至少一種；所述語音信息包括多種自然語言語 音信息。
10、 一種多媒體檢索方法，其特征在于，包括如下步驟A、 接收多媒體關(guān)鍵字；B、 查找對應(yīng)上述多媒體關(guān)鍵字的索引條目，發(fā)出包含索引條目的檢索指令；C、 查找包含上述索引條目的多媒體記錄；D、 輸出找到的多媒體記錄。
全文摘要
本發(fā)明涉及基于計算機(jī)的數(shù)據(jù)檢索技術(shù)，針對現(xiàn)有搜索技術(shù)搜索手段顯得過于單一且無法輸出關(guān)鍵字各種自然語言語音表達(dá)形式的缺陷，提供一種多媒體檢索系統(tǒng)，包括輸入端和輸出端，還包括識別器，通過輸入端接收多媒體關(guān)鍵字，查找與其對應(yīng)的索引條目，發(fā)出包含該索引條目的檢索指令；多媒體數(shù)據(jù)庫，接收檢索指令，查找并通過輸出端輸出包含所述索引條目的多媒體記錄。本發(fā)明還提供了一種多媒體檢索方法。實施本發(fā)明的多媒體輸入輸出轉(zhuǎn)換系統(tǒng)，具有以下有益效果，多媒體關(guān)鍵字方式可豐富搜索手段，多語言表達(dá)有助于突破外語瓶頸。
文檔編號G06F17/30GK101441626SQ200710124618
公開日2009年5月27日 申請日期2007年11月20日 優(yōu)先權(quán)日2007年11月20日
發(fā)明者鄧桂成 申請人:鄧桂成