本發(fā)明涉及圖象特征抽取、應(yīng)用技術(shù)，圖象分類(lèi)技術(shù)，特別涉及一種基于從圖象抽取多組特征之間關(guān)系的圖象識(shí)別方法以及保護(hù)圖象具體特征提取方法的隱私保護(hù)技術(shù)。

背景技術(shù)：

目前，隨著多媒體技術(shù)的發(fā)展和智能設(shè)備的普及，圖象信息的獲取日益便捷，同時(shí)，對(duì)于圖象的分類(lèi)需求也日益提高，如使用只能手機(jī)拍照之后，需要對(duì)照片進(jìn)行分類(lèi)；機(jī)器人對(duì)物體進(jìn)行識(shí)別時(shí)，也會(huì)用到圖像識(shí)別技術(shù)；在網(wǎng)絡(luò)搜索圖象時(shí)也有相關(guān)技術(shù)的需求。

目前圖象分類(lèi)的流程主要是先針對(duì)圖象提取特征，之后使用某些分類(lèi)器進(jìn)行分類(lèi)。對(duì)于圖象進(jìn)行標(biāo)記十分昂貴，需要花費(fèi)大量的人力資源，而從互聯(lián)網(wǎng)上獲取圖象十分便捷，但是獲取到的都是沒(méi)有標(biāo)記的圖象。對(duì)于一幅圖象，可以有多種不同類(lèi)型的特征屬性集合：如可以使用不同圖象特征提取方法對(duì)圖象進(jìn)行特征抽取，每一種方法抽取到的特征構(gòu)成一個(gè)屬性集；網(wǎng)絡(luò)上一幅圖象往往配有文字、視頻等其它多媒體資源，從這些附帶的資源中也可以提取出特征；智能手機(jī)配備多個(gè)傳感器，使用手機(jī)拍一張照片，其它傳感器可以提供時(shí)間、溫度、光照強(qiáng)度等信息，這些信息也可以輔助圖象的分類(lèi)。傳統(tǒng)的方法一方面需要獲取有標(biāo)記的圖象進(jìn)行分類(lèi)器的訓(xùn)練，一方面依賴(lài)于特定的特征，無(wú)法較好地利用未標(biāo)記圖象和多組不同的圖象特征屬性集。

圖象分類(lèi)往往也是多個(gè)公司、研究組織的共同需求。不同的公司或者研究組織會(huì)針對(duì)其獲取的數(shù)據(jù)使用他們自己的方法提取特征，之后根據(jù)他們提取的特征進(jìn)行分類(lèi)器的訓(xùn)練。將多個(gè)公司(組織)的特征進(jìn)行結(jié)合，無(wú)疑可以得到更好的特征，但是各組特征涉及多個(gè)公司(組織)的隱私信息，如提取特征的具體技術(shù)，這些往往不適合和他人共享，因此需要一種具有隱私保護(hù)的利用不同特征進(jìn)行圖象分類(lèi)的方法。

技術(shù)實(shí)現(xiàn)要素：
：

發(fā)明目的：目前關(guān)于圖象分類(lèi)的算法往往依賴(lài)于有標(biāo)記的圖象，或者只針對(duì) 圖象的某一類(lèi)屬性集，同時(shí)已有的方法幾乎沒(méi)有考慮過(guò)在“競(jìng)爭(zhēng)-合作”的場(chǎng)景下對(duì)每一個(gè)數(shù)據(jù)來(lái)源的特征進(jìn)行隱私保護(hù)，針對(duì)上述問(wèn)題，本發(fā)明提出一種利用多來(lái)源數(shù)據(jù)具有隱私保護(hù)功能的圖象分類(lèi)方法，將圖像的多個(gè)特征集合看作多個(gè)視圖，通過(guò)利用視圖之間的相關(guān)性提升圖象分類(lèi)的性能。

技術(shù)方案：一種利用多來(lái)源數(shù)據(jù)具有隱私保護(hù)功能的圖象分類(lèi)方法，首先針對(duì)圖象收集(提取)不同類(lèi)型的特征屬性，將每一組特征看作一個(gè)視圖，每一個(gè)視圖上訓(xùn)練一個(gè)分類(lèi)器，對(duì)圖象的結(jié)果進(jìn)行預(yù)測(cè)，要求在有標(biāo)記數(shù)據(jù)上預(yù)測(cè)的結(jié)果和真實(shí)的結(jié)果相同；在之后的訓(xùn)練過(guò)程中，要求不同視圖的預(yù)測(cè)結(jié)果盡可能相近，使得預(yù)測(cè)性能強(qiáng)的視圖能夠輔助其它的視圖，從而提升每一個(gè)視圖以及綜合的分類(lèi)結(jié)果；最后利用在迭代訓(xùn)練過(guò)程中得到的分類(lèi)器在每一個(gè)視圖上進(jìn)行圖象分類(lèi)。本發(fā)明方法可分為圖象分類(lèi)模型訓(xùn)練步驟和圖象分類(lèi)模型分類(lèi)步驟，具體如下：

所述圖象分類(lèi)模型的訓(xùn)練步驟具體為：

步驟100，從不同的k個(gè)數(shù)據(jù)源獲取圖象特征屬性集，將每一個(gè)屬性集看作一個(gè)視圖；

步驟101，在每一個(gè)視圖上利用本視圖的特征屬性訓(xùn)練分類(lèi)器，得到每一個(gè)視圖上對(duì)所有樣本的預(yù)測(cè)結(jié)果，訓(xùn)練過(guò)程中要求在有標(biāo)記樣本上每一個(gè)分類(lèi)器的預(yù)測(cè)結(jié)果和真實(shí)標(biāo)記相同；

步驟102，將每個(gè)視圖對(duì)所有圖象的預(yù)測(cè)結(jié)果收集，拼接成一個(gè)矩陣(apm)，優(yōu)化該矩陣的秩，使每一個(gè)視圖的預(yù)測(cè)結(jié)果盡可能一致；

步驟103，判斷每一個(gè)視圖預(yù)測(cè)拼接構(gòu)成的矩陣秩是否滿(mǎn)足要求，如果否，則轉(zhuǎn)入步驟101，繼續(xù)分類(lèi)器的訓(xùn)練；如果是，則通過(guò)該矩陣重構(gòu)分類(lèi)器，即每一個(gè)視圖最終的預(yù)測(cè)結(jié)果根據(jù)該視圖上的特征構(gòu)造出針對(duì)該視圖的分類(lèi)器wk確定。

所述圖象分類(lèi)模型的分類(lèi)步驟具體為：

步驟200，從不同的k個(gè)數(shù)據(jù)源獲取圖象特征屬性集，將每一個(gè)屬性集看作一個(gè)視圖；

步驟201，利用訓(xùn)練過(guò)程中在每一個(gè)視圖上得到的分類(lèi)器wk對(duì)每一個(gè)視圖上 的圖象進(jìn)行分類(lèi)；

步驟202，判斷是否需要綜合每一個(gè)視圖進(jìn)行圖象分類(lèi)，如果否，則獲得每一個(gè)視圖上的分類(lèi)結(jié)果；如果是，則收集每一個(gè)視圖的分類(lèi)結(jié)果，將其進(jìn)行融合，得到綜合的分類(lèi)結(jié)果。

所述步驟100從不同的k個(gè)數(shù)據(jù)源獲取圖象特征屬性集的方法包括使用不同的特征提取方法對(duì)圖象進(jìn)行特征提取、使用網(wǎng)絡(luò)上的附帶信息作為其它數(shù)據(jù)源和從真實(shí)存在的多數(shù)據(jù)源(如多傳感器)提取特征等。

所述步驟101在每一個(gè)視圖上利用本視圖的特征屬性訓(xùn)練分類(lèi)器具體方法為：在每一個(gè)視圖上構(gòu)建線(xiàn)性分類(lèi)器wk，分類(lèi)器的維度同時(shí)取決于圖象類(lèi)別的數(shù)目c和該視圖特征屬性集的維度dk，使用最小二乘方法在有標(biāo)記樣本上使得分類(lèi)器的預(yù)測(cè)結(jié)果和真實(shí)的結(jié)果盡可能相似，具體公式如下：

其中，bk為每個(gè)視圖上的分類(lèi)偏置，γ為參數(shù)，fk是分類(lèi)器的輸出。

所述步驟102使每一個(gè)視圖的預(yù)測(cè)結(jié)果盡可能一致的具體方法為：在每一個(gè)視圖上對(duì)訓(xùn)練集中所有圖象進(jìn)行類(lèi)別的預(yù)測(cè)，得到預(yù)測(cè)結(jié)果fk，其維度同時(shí)取決于訓(xùn)練集中圖象的數(shù)目和類(lèi)別數(shù)目，將所有視圖的預(yù)測(cè)結(jié)果拼接，得到一個(gè)擴(kuò)展的矩陣表示apm，使各個(gè)視圖的預(yù)測(cè)結(jié)果一致即優(yōu)化apm的秩，使其盡可能低秩。優(yōu)化目標(biāo)及使得apm的秩為c-1，和理想情況下的秩相同。

所述優(yōu)化apm的秩方法為優(yōu)化apm的截?cái)嗪朔稊?shù)的方法，包括加速近端梯度方法和交替方向乘子法，具體優(yōu)化方法如下：

其中，lk為最小二乘損失函數(shù)，fk是第k個(gè)視圖上分類(lèi)器的輸出，||f||r是擴(kuò)展矩陣apm的截?cái)嗪朔稊?shù)，集合d為可用分類(lèi)器集合，在本申請(qǐng)中d為帶偏置的線(xiàn)性分類(lèi)器集合。

所述步驟201利用訓(xùn)練過(guò)程中在每一個(gè)視圖上得到的分類(lèi)器wk對(duì)每一個(gè)視圖上的圖象進(jìn)行分類(lèi)的具體方法為：將該視圖上某一幅圖象的特征和wk做內(nèi)積運(yùn)算，得到一個(gè)長(zhǎng)為c的向量，其中每一個(gè)元素表示分類(lèi)到每一個(gè)類(lèi)的置信度，圖象分類(lèi)過(guò)程即把當(dāng)前圖象分類(lèi)為置信度最高的一類(lèi)。

所述步驟202將各類(lèi)別的預(yù)測(cè)結(jié)果融合，具體是指使用某些集成方法(如多個(gè)預(yù)測(cè)結(jié)果投票)得到最終的預(yù)測(cè)。

有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明所提供的利用多數(shù)具有的圖象分類(lèi)方法，實(shí)施過(guò)程中能夠充分利用有標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)上不同數(shù)據(jù)源的多種特征屬性，適合數(shù)據(jù)源很多的情況，同時(shí)在整個(gè)訓(xùn)練過(guò)程中能夠確保每一個(gè)數(shù)據(jù)源的特征屬性不被其它數(shù)據(jù)源所獲取。

附圖說(shuō)明

圖1是本發(fā)明的圖象分類(lèi)模型訓(xùn)練階段的工作流程圖；

圖2是本發(fā)明的圖象分類(lèi)模型分類(lèi)階段的工作流程圖；

圖3是本發(fā)明的訓(xùn)練圖象分類(lèi)模型m的工作流程圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。

圖象分類(lèi)模型訓(xùn)練階段的工作流程如圖1所示。圖象分類(lèi)模型在訓(xùn)練階段需要收集一定數(shù)量的帶標(biāo)記和大量不帶標(biāo)記的圖象用于訓(xùn)練，具體來(lái)說(shuō)，以公司之間“競(jìng)爭(zhēng)-合作”為例，首先不同的公司確定對(duì)于同一個(gè)任務(wù)(對(duì)于某一類(lèi)型的圖象分類(lèi)任務(wù))進(jìn)行協(xié)作，從網(wǎng)絡(luò)上收集大量數(shù)據(jù)(步驟10)；然后不同公司確定針對(duì)相同一部分的圖象進(jìn)行模型的訓(xùn)練(可以某一方搜集圖象然后共享，或者由各公司都從同一數(shù)據(jù)源獲取圖象，步驟11)；各個(gè)公司使用其自己的方法進(jìn)行對(duì)搜集到的圖象進(jìn)行特征提取(步驟12a)，并對(duì)同一批圖象進(jìn)行類(lèi)別的標(biāo)注(步驟12b)。判斷各公司搜集數(shù)據(jù)、對(duì)數(shù)據(jù)的特征提取是否完成(步驟13)，如果否，等待所有公司數(shù)據(jù)準(zhǔn)備完成；如果是，則各公司使用搜集到的數(shù)據(jù)以及提取到的特征進(jìn)行模型訓(xùn)練(步驟14)，最終得到模型m(步驟15)，包含每一個(gè)類(lèi)別的 分類(lèi)器wk，用于每一個(gè)公司的圖象分類(lèi)。

圖象分類(lèi)模型分類(lèi)工作階段的工作流程如圖2所示。首先各個(gè)公司獲取訓(xùn)練過(guò)程中得到的針對(duì)每一個(gè)公司(每個(gè)視圖)的圖象分類(lèi)器wk(步驟16)，然后判定各公司之間是否存在進(jìn)一步協(xié)作(步驟17)，即是否需要綜合多個(gè)公司的預(yù)測(cè)結(jié)果提供最終的圖象分類(lèi)結(jié)果，如果是，則將圖象分發(fā)給各個(gè)公司或各公司收集同一批圖象(步驟18b)，各公司使用自己的對(duì)應(yīng)的特征提取技術(shù)對(duì)該圖象提取特征(步驟19b)，之后使用各公司的分類(lèi)器進(jìn)行判定，得到預(yù)測(cè)結(jié)果(步驟20b)，最后將這些預(yù)測(cè)結(jié)果進(jìn)行集成，得到最終的綜合的預(yù)測(cè)結(jié)果(步驟21)。如果各公司獨(dú)立分類(lèi)，則各個(gè)公司分別收集新的數(shù)據(jù)，這里不要求不同公司搜集的圖象相同，也不要求不同公司要同步操作(步驟18a)；對(duì)于每一個(gè)公司，每當(dāng)搜集到一個(gè)(一批)圖象，使用訓(xùn)練過(guò)程中同樣的方法對(duì)該(批)圖象進(jìn)行特征提取，得到圖象的特征(步驟19a)；最后，公司使用自己的分類(lèi)器對(duì)圖像特征進(jìn)行類(lèi)別判定，分類(lèi)結(jié)果為置信度最高的一個(gè)類(lèi)別(步驟20a)。注：在圖象分類(lèi)過(guò)程中，各個(gè)公司對(duì)于數(shù)據(jù)獨(dú)立處理，但要保證使用訓(xùn)練過(guò)程中相同的方式對(duì)圖象提取特征。

訓(xùn)練圖象分類(lèi)模型m的工作流程如圖3所示。首先各公司使用各自的特征提取方法對(duì)圖象進(jìn)行特征提取，獲取到的數(shù)據(jù)記為x1，x2，…，xk(步驟141)；然后每個(gè)公司在有標(biāo)記的圖象上分別訓(xùn)練一個(gè)線(xiàn)性分類(lèi)器w1，w2，…，wk(步驟142)；各公司使用訓(xùn)練好的分類(lèi)器對(duì)所有樣本的標(biāo)記進(jìn)行預(yù)測(cè)，得到的預(yù)測(cè)結(jié)果分別為f1，f2，…，fk(步驟143)；將各個(gè)公司的預(yù)測(cè)結(jié)果集中到一個(gè)中間結(jié)點(diǎn)，拼接成一個(gè)矩陣(步驟144)，在中間結(jié)點(diǎn)對(duì)該矩陣進(jìn)行優(yōu)化，得到更好的預(yù)測(cè)結(jié)果矩陣apm，通過(guò)優(yōu)化該矩陣的秩實(shí)現(xiàn)(步驟145)；將更新之后的預(yù)測(cè)結(jié)果分別傳給各個(gè)公司(步驟146)；判斷各公司的預(yù)測(cè)結(jié)果是否足夠好(步驟147)，如果否，則返回步驟，繼續(xù)訓(xùn)練；如果是，則停止，各公司通過(guò)預(yù)測(cè)結(jié)果fk更新分類(lèi)器wk，各公司得到各自的分類(lèi)器(步驟148)。注：在訓(xùn)練過(guò)程中，中心結(jié)點(diǎn)只獲取各個(gè)公司針對(duì)圖象的預(yù)測(cè)結(jié)果，不需要獲取各個(gè)公司提取到的圖象特 征，保護(hù)了各公司圖象提取技術(shù)的隱私性。在實(shí)現(xiàn)中，通過(guò)優(yōu)化apm的秩來(lái)對(duì)預(yù)測(cè)結(jié)果更新，使用優(yōu)化apm的截?cái)嗪朔稊?shù)的方法實(shí)現(xiàn)，具體有加速近端梯度方法和交替方向乘子法等。