用于調(diào)整圖像大小的系統(tǒng)和方法
【專(zhuān)利說(shuō)明】用于調(diào)整圖像大小的系統(tǒng)和方法
【背景技術(shù)】
[0001] 在諸如互聯(lián)網(wǎng)或其他網(wǎng)絡(luò)的網(wǎng)絡(luò)化環(huán)境中，第一方內(nèi)容提供者可提供用于在資源 上公開(kāi)顯示的信息，該資源例如是web頁(yè)面、文檔、應(yīng)用和/或其他資源。第一方內(nèi)容可包 括由第一方提供者經(jīng)由例如內(nèi)容服務(wù)器提供的用于在互聯(lián)網(wǎng)上顯示的文本、視頻和/或音 頻信息。還可以由第三方內(nèi)容提供者提供用于與由第一方提供者提供的第一方內(nèi)容一起在 資源上顯示的附加的第三方內(nèi)容。因此，查看資源的人可訪(fǎng)問(wèn)作為資源主題的信息，以及可 能與該資源的主題相關(guān)或不相關(guān)的第三方內(nèi)容。

【發(fā)明內(nèi)容】

[0002] 用于調(diào)整圖像大小的方法可包括接收關(guān)于圖像的數(shù)據(jù)、縫（seam)成本閾值和步 長(zhǎng)?？苫谒鲫P(guān)于圖像的數(shù)據(jù)做出所述圖像的顯著性圖?？苫陲@著性圖為所述圖像確 定第一縫集合，所述第一縫集合中的每個(gè)縫具有低于所述縫成本閾值的顯著性成本?？墒?用第一調(diào)整大小的縫的集合調(diào)整所述圖像的大小以生成第二圖像。其所述第一調(diào)整大小的 縫的集合包括與所述第一縫集合的縫的數(shù)量和所述步長(zhǎng)之中的最小值相等的縫的數(shù)量?？?為所述第二圖像確定第二縫集合，所述第二縫集合中的每個(gè)縫具有低于所述縫成本閾值的 顯著性成本?？墒褂玫诙{(diào)整大小的縫的集合調(diào)整所述第二圖像的大小，以生成調(diào)整了大 小的圖像。所述第二調(diào)整大小的縫的集合包括與所述第二縫集合的縫的數(shù)量和所述步長(zhǎng)之 中的最小值相等的縫的數(shù)量?？奢敵鲇糜谕瓿伤稣{(diào)整了大小的圖像的顯示的顯示數(shù)據(jù)。
[0003] 計(jì)算機(jī)可讀存儲(chǔ)裝置可存儲(chǔ)指令，當(dāng)由數(shù)據(jù)處理器執(zhí)行該指令時(shí)可使得所述數(shù)據(jù) 處理器執(zhí)行一些操作。所述操作可包括從請(qǐng)求裝置接收對(duì)于將與資源一起顯示的內(nèi)容項(xiàng)的 請(qǐng)求。可選擇包括具有數(shù)個(gè)像素的圖像的內(nèi)容項(xiàng)?？苫谔荻蕊@著性值、顏色空間分布顯 著性值以及標(biāo)志檢測(cè)值為每個(gè)像素確定顯著性分?jǐn)?shù)?？苫陲@著性分?jǐn)?shù)為所述圖像確定平 均顯著性值。如果所述平均顯著性值低于平均閾值，則可基于所述顯著性分?jǐn)?shù)為所述圖像 確定第一縫集合?？苫谒龅谝豢p集合調(diào)整所述圖像的大小?？蔀樗龅谝豢p集合確定 總的成本值，并且如果所述總的成本值低于最小成本閾值，則輸出顯示數(shù)據(jù)以完成將調(diào)整 了大小的圖像顯示為內(nèi)容項(xiàng)。
[0004] 用于調(diào)整第三方內(nèi)容提供者的圖像內(nèi)容項(xiàng)的大小的系統(tǒng)可包括數(shù)據(jù)處理器和存 儲(chǔ)一些指令的計(jì)算機(jī)可讀存儲(chǔ)裝置，當(dāng)由所述數(shù)據(jù)處理器執(zhí)行該指令時(shí)使得所述數(shù)據(jù)處理 器執(zhí)行多種操作。所述操作可包括接收關(guān)于具有數(shù)個(gè)像素的圖像的數(shù)據(jù)、縫成本閾值和步 長(zhǎng)?？蔀樗鰣D像確定顯著性圖，并且所述顯著性圖可包括所述圖像的每個(gè)像素的顯著性 分?jǐn)?shù)。可基于顯著性分?jǐn)?shù)為所述圖像確定平均顯著性值。如果所述平均顯著性值低于平均 閾值，則基于所述顯著性分?jǐn)?shù)為所述圖像確定第一縫集合。所述第一縫集合中的每個(gè)縫可 具有低于所述縫成本閾值的顯著性成本。可基于第一調(diào)整大小的縫的集合調(diào)整所述圖像的 大小，以生成第二圖像。所述第一調(diào)整大小的縫的集合可包括與所確定的第一縫集合的縫 的數(shù)量和所述步長(zhǎng)之中的最小值相等的縫的數(shù)量?？蔀樗龅诙D像確定第二縫集合?？?基于所述第二縫集合調(diào)整所述第二圖像的大小，以生成調(diào)整了大小的圖像?？奢敵鲇糜谕?成所述調(diào)整了大小的圖像的顯示的顯示數(shù)據(jù)。
【附圖說(shuō)明】
[0005] 在附圖中，以示例而不是限制的方式示出了本文教導(dǎo)的各個(gè)實(shí)施方式，其中：
[0006]圖1是描述經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)提供信息的示例系統(tǒng)的概覽；
[0007] 圖2是用于調(diào)整圖像內(nèi)容項(xiàng)的大小的示例過(guò)程的流程圖；
[0008] 圖3A是示出了示例縫的示例的圖像的顯著性圖的概覽；
[0009] 圖3B是移除了示例縫的圖3A的示例顯著性圖的概覽；
[0010] 圖4A是平均顯著性值可能超過(guò)平均閾值的示例圖像內(nèi)容項(xiàng)；
[0011] 圖4B是示出了具有添加的補(bǔ)缺（filler)的圖4A的圖像內(nèi)容項(xiàng)的圖像的示例；
[0012] 圖4C是示出了具有添加的補(bǔ)缺的圖4A的圖像內(nèi)容項(xiàng)的圖像的另一個(gè)示例；
[0013] 圖5A是可對(duì)其應(yīng)用自適應(yīng)縫切割（seamcarving)的示例的圖像內(nèi)容項(xiàng)；
[0014] 圖5B是示出了對(duì)于圖5A的圖像內(nèi)容項(xiàng)的圖像檢測(cè)到的文字區(qū)域和標(biāo)志區(qū)域的示 例；
[0015] 圖5C是示出了可能低于縫成本閾值的關(guān)于圖5A的圖像內(nèi)容項(xiàng)的圖像的數(shù)個(gè)縫的 示例；
[0016] 圖是示出了通過(guò)復(fù)制縫來(lái)調(diào)整大小之后的關(guān)于圖5A的圖像內(nèi)容項(xiàng)的第二調(diào)整 了大小的圖像的示例；
[0017] 圖5E是關(guān)于圖5A的圖像內(nèi)容項(xiàng)的不例的調(diào)整了大小的圖像；
[0018] 圖5F是示出了可能低于縫成本閾值的關(guān)于圖5A的圖像內(nèi)容項(xiàng)的圖像的數(shù)個(gè)縫的 示例；
[0019] 圖5G是示出了通過(guò)復(fù)制圖5F的縫來(lái)調(diào)整大小之后的關(guān)于圖5A的圖像內(nèi)容項(xiàng)的 第二調(diào)整了大小的圖像的示例；
[0020] 圖5H是示出了通過(guò)復(fù)制圖5G的附加縫來(lái)調(diào)整大小之后的關(guān)于圖5A的圖像內(nèi)容 項(xiàng)的第三調(diào)整了大小的圖像的示例；
[0021] 圖6A是可對(duì)其應(yīng)用自適應(yīng)縫切割的另一個(gè)示例圖像內(nèi)容項(xiàng)；
[0022] 圖6B是示出了在調(diào)整圖像的大小時(shí)使用的數(shù)個(gè)確定的縫的關(guān)于圖6A的圖像內(nèi)容 項(xiàng)的示例的調(diào)整了大小的圖像；
[0023] 圖6C是省略了確定的縫的關(guān)于圖6A的圖像內(nèi)容項(xiàng)的示例的調(diào)整了大小的圖像；
[0024] 圖7A是可對(duì)其應(yīng)用自適應(yīng)縫切割的另一個(gè)示例的圖像內(nèi)容項(xiàng)；
[0025]圖7B是示出了在調(diào)整圖像的大小時(shí)使用的數(shù)個(gè)確定的縫的關(guān)于圖7A的圖像內(nèi)容 項(xiàng)的示例的調(diào)整了大小的圖像；
[0026] 圖7C是省略了確定的縫的關(guān)于圖7A的圖像內(nèi)容項(xiàng)的示例的調(diào)整了大小的圖像；
[0027] 圖8A是可對(duì)其應(yīng)用自適應(yīng)縫切割的另一個(gè)示例的圖像內(nèi)容項(xiàng)；
[0028]圖8B是示出了在調(diào)整圖像的大小時(shí)使用的數(shù)個(gè)確定的縫的關(guān)于圖8A的圖像內(nèi)容 項(xiàng)的示例的調(diào)整了大小的圖像；
[0029] 圖8C是省略了確定的縫的關(guān)于圖8A的圖像內(nèi)容項(xiàng)的示例的調(diào)整了大小的圖像；
[0030] 圖9是示出了可用來(lái)實(shí)現(xiàn)本文描述和示出的系統(tǒng)和方法的各個(gè)元素的計(jì)算機(jī)系 統(tǒng)的總體架構(gòu)的框圖。
[0031] 部分或全部的所述圖示應(yīng)被視為是用于說(shuō)明目的的示意圖表示。出于示出一個(gè)或 多個(gè)實(shí)施方式的目的提供所述圖示，應(yīng)明確理解它們將不被用于限制權(quán)利要求的范圍或含 義。
【具體實(shí)施方式】
[0032] 下文是對(duì)用于在計(jì)算機(jī)網(wǎng)絡(luò)上提供信息的方法、設(shè)備和系統(tǒng)的與其相關(guān)的各個(gè)概 念及其實(shí)施方式的更詳細(xì)的描述。由于所描述的方面不限于實(shí)施方式的任何特定方式，因 此可采用眾多方式中的任何一種來(lái)實(shí)現(xiàn)下文中更詳細(xì)討論的各個(gè)方面。主要出于說(shuō)明的目 的來(lái)提供【具體實(shí)施方式】和應(yīng)用的示例。
[0033] 在一些實(shí)例中，調(diào)整內(nèi)容項(xiàng)（諸如圖像和/或視頻）的大小可能是有用的。例如， 計(jì)算裝置（如用戶(hù)裝置或請(qǐng)求裝置）可經(jīng)由互聯(lián)網(wǎng)通過(guò)與對(duì)應(yīng)于資源的服務(wù)器（如web頁(yè) 面服務(wù)器）通信來(lái)查看該資源（諸如web頁(yè)面）。該資源可包括來(lái)自第一方提供者的作為 資源的主題的內(nèi)容，以及附加的第三方提供的內(nèi)容，如廣告。在一個(gè)實(shí)施方式中，響應(yīng)于接 收到訪(fǎng)問(wèn)web頁(yè)面的請(qǐng)求，web頁(yè)面服務(wù)器可與諸如內(nèi)容布置系統(tǒng)的數(shù)據(jù)處理系統(tǒng)通信，以 請(qǐng)求用于插入到在計(jì)算裝置處顯示的web頁(yè)面的植染（rendering)中的內(nèi)容項(xiàng)。內(nèi)容布置 系統(tǒng)可選擇合適的內(nèi)容項(xiàng)并且將其提供給web頁(yè)面服務(wù)器，以與web頁(yè)面一起顯示。
[0034] 在一些實(shí)例中，資源的空檔（slot)可能具有與所選擇的內(nèi)容項(xiàng)不同的一組尺寸。 在這類(lèi)實(shí)例中，調(diào)整內(nèi)容項(xiàng)的大小以符合該空檔可能是有用的，例如移除內(nèi)容項(xiàng)的部分和/ 或向內(nèi)容項(xiàng)添加附加的像素?？赏ㄟ^(guò)利用諸如縫切割（seamcarving)的技術(shù)來(lái)完成這種 大小調(diào)整?？p切割基于期望的大小調(diào)整來(lái)選擇內(nèi)容項(xiàng)的一系列連接的像素，以進(jìn)行復(fù)制和/ 或移除。對(duì)于內(nèi)容項(xiàng)來(lái)說(shuō)，選擇不扭曲內(nèi)容項(xiàng)的主要或顯著內(nèi)容的縫可能是有用的。例如， 內(nèi)容項(xiàng)可包括背景上的文本內(nèi)容?？p可被選擇以在調(diào)整內(nèi)容項(xiàng)大小的同時(shí)保留該文本內(nèi)容 和/或字符間距，從而提供調(diào)整了大小的內(nèi)容項(xiàng)且保留顯著內(nèi)容。在其他實(shí)例中，內(nèi)容項(xiàng)可 包括面部，使得面部檢測(cè)對(duì)于保留面部?jī)?nèi)容來(lái)說(shuō)是有用的。在其他實(shí)例中，內(nèi)容項(xiàng)中可能存 在標(biāo)志，使得保留標(biāo)志的形狀和大小同樣是有用的。本文中將更詳細(xì)地討論其他顯著內(nèi)容 考慮事項(xiàng)。
[0035] 可通過(guò)為每個(gè)像素確定顯著性分?jǐn)?shù)（即該像素對(duì)內(nèi)容項(xiàng)的內(nèi)容有多重要）來(lái)完成 這種顯著內(nèi)容的保留和縫的選擇?？纱_定顯著性分?jǐn)?shù)的集合來(lái)生成內(nèi)容項(xiàng)的顯著性圖。該 顯著性圖可用于確定縫，以用于縫切割和/或用于與一個(gè)或多個(gè)評(píng)價(jià)指標(biāo)一起使用。
[0036] 可在調(diào)整大小過(guò)程之前、期間和/或之后使用評(píng)價(jià)指標(biāo)，以確定是否繼續(xù)進(jìn)行縫 切割和/或使用調(diào)整了大小的圖像。例如，可計(jì)算顯著性圖的顯著性分?jǐn)?shù)的平均值。如果 顯著性分?jǐn)?shù)的平均值低于平均閾值，則可以繼續(xù)進(jìn)行縫切割。如果該平均值高于平均閾值， 則可選擇替換的方法和/或內(nèi)容項(xiàng)（例如，不調(diào)整具有高平均顯著性分?jǐn)?shù)的圖像內(nèi)容項(xiàng)的 大小，而是顯示具有補(bǔ)缺的圖像內(nèi)容項(xiàng)以保留圖像內(nèi)容項(xiàng)的內(nèi)容可能更好）。
[0037] 使用顯著性圖的顯著性分?jǐn)?shù)，可通過(guò)選擇具有低顯著性分?jǐn)?shù)像素的縫來(lái)選擇縫， 以調(diào)整內(nèi)容項(xiàng)的大小。在一些實(shí)例中，可使用縫成本閾值評(píng)價(jià)指標(biāo)，使得所選擇的縫具有低 于該縫成本閾值的顯著性成本?？p的顯著性成本可被計(jì)算為該縫的每個(gè)像素的顯著性成本 的和。在一些實(shí)例中，可使用步長(zhǎng)來(lái)限制和/或保證在調(diào)整內(nèi)容項(xiàng)大小的迭代過(guò)程中選擇 一定數(shù)量的縫。該步長(zhǎng)可與縫成本閾值一起使用，使得兩者中的最小值或最大值可用于提 供自適應(yīng)調(diào)整大小過(guò)程。
[0038] 在進(jìn)一步的實(shí)施方式中，可為添加的和/或移除的縫計(jì)算總的成本值評(píng)價(jià)指標(biāo)。 該總的成本值可用于確定是否使用調(diào)整了大小的圖像。例如，如果從內(nèi)容項(xiàng)移除縫的總的 成本值超過(guò)最大值，則調(diào)整了大小的圖像可能已經(jīng)移除和/或添加了太多具有高顯著性分 數(shù)的像素并且潛在地扭曲了內(nèi)容項(xiàng)的內(nèi)容。如果移除和/或添加縫的總的成本值低于最小 值，則調(diào)整了大小的圖像可能已經(jīng)移除和/或添加了具有低顯著性分?jǐn)?shù)的像素，并且不太 可能扭曲內(nèi)容項(xiàng)的內(nèi)容。當(dāng)然，也可以使用將總的成本值作為評(píng)價(jià)指標(biāo)的其他使用和實(shí)施 方式。
[0039]I?示例系統(tǒng)的概述
[0040] 圖1示出了用于經(jīng)由諸如網(wǎng)絡(luò)105的計(jì)算機(jī)網(wǎng)絡(luò)提供信息的示例系統(tǒng)100。網(wǎng)絡(luò) 105可包括計(jì)算機(jī)網(wǎng)絡(luò)，如互聯(lián)網(wǎng)、局域、廣域、城域或其他區(qū)域網(wǎng)絡(luò)、內(nèi)部網(wǎng)，以及諸如語(yǔ)音 或數(shù)據(jù)移動(dòng)電話(huà)通信網(wǎng)絡(luò)的其他計(jì)算機(jī)網(wǎng)絡(luò)。系統(tǒng)100還可以包括數(shù)據(jù)