本發(fā)明涉及計算機(jī)視覺，特別提供了自然擺放狀態(tài)下的圖書的書脊分割和匹配方法。

背景技術(shù)：

1、由于書籍圖像中書脊具有良好的直線和紋理信息，傳統(tǒng)書籍分割方法大部分都基于直線檢測和書脊紋理信息的方法來進(jìn)行書籍分割，n.tabassum等人提出一種針對多行圖書書脊的分割方法，該方法可以利用形態(tài)學(xué)算法移除小區(qū)域圖像得到精確的書脊邊緣。崔晨提出了一種基于文本檢測與支持向量機(jī)結(jié)合的書脊區(qū)域定位方法，在光照敏感、相鄰書脊顏色對比度敏感、書脊多角度傾斜檢測等方面進(jìn)行了改善。此類傳統(tǒng)方法只能適用于少量、較厚、紋理較為規(guī)則的書架圖像。相比于傳統(tǒng)分割算法，zhou等人提出了一種基于書脊深度特征的書籍分割識別方法，該方法使用mask?r-cnn(mask?region-basedconvolutional?neural?network)實(shí)例分割網(wǎng)絡(luò)訓(xùn)練書脊分割模型，實(shí)現(xiàn)了一步分割，并具有更好的靈活適應(yīng)性。張可心等人提出了一種改進(jìn)的deeplab?v3?plus的書脊分割算法，該算法引入了更密集的金字塔池化層和條形池化層，更有效提取書脊長條形特征，為自然擺放狀態(tài)下的書脊分割提供了解決方案，但是缺點(diǎn)是不能處理較為復(fù)雜的書脊圖像分割問題。在書籍匹配中，大部分匹配算法都是基于特征描述符進(jìn)行書籍匹配，fowers等提出了一種新的特征描述符，稱為彩色高斯差分尺度不變特征變換(color?difference?ofgaussians?sift,cdog-sift)，該特征可以很好地避免以往研究中的灰度圖像目標(biāo)邊緣不清的問題，通過從書脊圖像中提取該特征，并將其與書脊特征數(shù)據(jù)庫進(jìn)行匹配，以識別放錯位置或丟失的書籍。崔晨采用sift特征、近似最近鄰算法和隨機(jī)抽樣一致性(randomsample?consensus,ransac)特征匹配算法，設(shè)計了在書柜場景圖像中匹配書脊目標(biāo)的多目標(biāo)模板匹配方法，對豎直密集排列、傾斜擺放、不同光照等情況的書脊均具有較好的匹配效果。

2、總的來說，現(xiàn)有的書脊分割算法的適應(yīng)性不強(qiáng)，只能用于書籍?dāng)[放整齊的場景下，難以有效分割圖像中大角度傾斜和具有較多擺放狀態(tài)的書籍。同時，現(xiàn)有的書脊匹配算法存在匹配效率較低問題。當(dāng)目標(biāo)進(jìn)行一對幾萬、十幾萬數(shù)據(jù)的匹配時，運(yùn)行速度較慢，導(dǎo)致圖書館中自然擺放狀態(tài)下在架圖書的書脊分割與匹配方法仍然是一個富有挑戰(zhàn)性的研究課題。

3、綜上，提供一種適用于自然擺放狀態(tài)下的圖書的書脊分割和匹配方法是非常有意義的。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本發(fā)明的目的在于提供一種自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，以解決圖書館中自然擺放狀態(tài)下在架圖書的書脊分割，及大數(shù)據(jù)量圖書匹配實(shí)時性差和準(zhǔn)確度低的問題。

2、本發(fā)明提供的技術(shù)方案是：自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，包括：

3、s1：將yolov5網(wǎng)絡(luò)作為書籍圖像前端，處理圖像中傾斜的書脊圖像，進(jìn)行仿射變換，得到豎直的書脊圖像作為網(wǎng)絡(luò)輸入；

4、s2：將deeplab?v3?plus網(wǎng)絡(luò)作為書脊分割網(wǎng)絡(luò)，mobilenet?v2為特征提取網(wǎng)絡(luò)，基于deeplab?v3?plus網(wǎng)絡(luò)，將dense?ra-aspp框架替換deeplab?v3?plus中的aspp框架；

5、s3：淺層特征與深層特征融合得到語義信息更加全面的書脊特征，向deeplab?v3plus網(wǎng)絡(luò)中加入cbb模塊，得到y(tǒng)-deeplab?v3?plus書脊分割網(wǎng)絡(luò)；

6、s4：利用vgg16與fhnet獲取書脊的vgg特征、低頻特征、高頻特征和高頻低頻融合特征，構(gòu)建書脊匹配的特征庫；

7、s5：將所有的書脊圖像進(jìn)行顏色聚類，將顏色聚類與書脊匹配的特征庫做級聯(lián)處理，得到深度特征級聯(lián)匹配方法

8、s6：利用y-deeplab?v3?plus分割書籍圖像，得到精準(zhǔn)的書脊圖像作為深度特征級聯(lián)匹配方法的查詢圖像，并對查詢圖像進(jìn)行深度特征提取與匹配，得到書脊圖像的匹配結(jié)果。

9、優(yōu)選地，所述s1中將yolov5網(wǎng)絡(luò)作為書籍圖像前端，處理圖像中傾斜的書脊圖像，包括：

10、s11：將書籍圖像分為三種狀態(tài)：豎直狀態(tài)、傾斜狀態(tài)以及混合狀態(tài)；使用yolov5網(wǎng)絡(luò)檢測得到傾斜狀態(tài)書籍和混合狀態(tài)中的書籍傾斜部分；

11、s12：通過邊緣檢測傾斜狀態(tài)書籍和混合狀態(tài)中的書籍傾斜部分，獲得書脊圖像的邊緣，得到清晰的書脊邊緣；

12、s23:采用霍夫直線檢測對書脊邊隙進(jìn)行檢測，獲取多條書脊的傾斜的邊隙直線，計算邊隙直線與水平線的夾角，計算所述夾角的平均值；

13、s24:將所述平均值作為仿射變換的變換角度，通過放射變換將傾斜書脊圖像變換為豎直狀態(tài)。

14、優(yōu)選地，s2中dense?ra-aspp模塊結(jié)構(gòu)分別由條形池化層、空洞率分別為3，6，12，18，24的深度可分離非對稱卷積與1×1卷積構(gòu)成的殘差結(jié)構(gòu)組成，所述深度可分離非對稱卷積由3×3卷積、1×3卷積和3×1卷積疊加組成；

15、dense?ra-aspp模塊將每一層經(jīng)過深度可分離非對稱卷積后得到的特征與mobilenetv2的最后輸出特征進(jìn)行拼接送入下一層：經(jīng)過1×1卷積調(diào)整通道數(shù)，再通過自注意力機(jī)制，進(jìn)一步加強(qiáng)自身的特征后，經(jīng)過上采樣操作得到其深層特征，將深度特征與未經(jīng)過dense?ra-aspp模塊的淺層特征進(jìn)行拼接得到語義信息更加全面的書脊特征。

16、優(yōu)選地，s3中，所述cbb模塊是由兩條支路構(gòu)成的瓶頸塊組成，其中一條支路經(jīng)過3×3卷積、se注意力模塊進(jìn)一步提取更加細(xì)節(jié)的特征信息，另一支路通過1×1卷積，調(diào)整深層特征和淺層特征拼接之后的通道數(shù)，保留其特征信息，將兩支路特征進(jìn)行融合，構(gòu)成改進(jìn)的deeplab?v3?plus網(wǎng)絡(luò)。

17、優(yōu)選地，所述fhnet用于提取書脊的低頻特征、高頻特征和高頻低頻融合特征：

18、所述fhnet的骨干網(wǎng)絡(luò)為resnet50，通過池化分離模塊將特征分成低頻特征和高頻特征兩部分，對高頻特征部分加入自注意力機(jī)制，加強(qiáng)高頻特征信息，再將其與低頻特征進(jìn)行融合得到高頻低頻融合特征；

19、利用vgg16特征提取網(wǎng)絡(luò)提取書脊圖像的vgg特征，書脊的低頻特征、高頻特征、高頻低頻融合特征及vgg特征共同構(gòu)建書脊匹配的特征庫。

20、本發(fā)明提供了一種自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，該方法能有效的處理各種狀態(tài)下的書籍檢測與書籍分割問題，解決大數(shù)據(jù)量的圖書匹配實(shí)時性差的問題，且能夠有效提高書脊分割與匹配的準(zhǔn)確率，大大提高書脊匹配的效率，有效的為無人圖書館書籍的盤點(diǎn)提供了有利保障。

技術(shù)特征：

1.自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，其特征在于，所述s1中將yolov5網(wǎng)絡(luò)作為書籍圖像前端，處理圖像中傾斜的書脊圖像，包括：

3.根據(jù)權(quán)利要求1所述的自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，其特征在于，所述s2中dense?ra-aspp模塊結(jié)構(gòu)分別由條形池化層、空洞率分別為3，6，12，18，24的深度可分離非對稱卷積與1×1卷積構(gòu)成的殘差結(jié)構(gòu)組成，所述深度可分離非對稱卷積由3×3卷積、1×3卷積和3×1卷積疊加組成；

4.根據(jù)權(quán)利要求1所述的自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，其特征在于，s3中，所述cbb模塊是由兩條支路構(gòu)成的瓶頸塊組成，其中一條支路經(jīng)過3×3卷積、se注意力模塊進(jìn)一步提取更加細(xì)節(jié)的特征信息，另一支路通過1×1卷積，調(diào)整深層特征和淺層特征拼接之后的通道數(shù)，保留其特征信息，將兩支路特征進(jìn)行融合，構(gòu)成改進(jìn)的deeplab?v3plus網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，其特征在于，所述fhnet用于提取書脊的低頻特征、高頻特征和高頻低頻融合特征：

技術(shù)總結(jié)
本發(fā)明公開了自然擺放狀態(tài)下的圖書的書脊分割和匹配方法，包括：S1：將YOLOv5網(wǎng)絡(luò)作為書籍圖像前端，得到豎直的書脊圖像作為網(wǎng)絡(luò)輸入；步驟2：將Deeplab?v3plus網(wǎng)絡(luò)作為書脊分割網(wǎng)絡(luò)，將Dense?RA?ASPP框架替換Deeplab?v3plus中的ASPP框架；步驟3：向Deeplab?v3plus網(wǎng)絡(luò)中加入CBB模塊；步驟4：利用VGG16與FHNet獲取書脊的VGG特征、低頻特征、高頻特征和高頻低頻融合特征；步驟5：將顏色聚類與書脊匹配的特征庫做級聯(lián)處理，得到深度特征級聯(lián)匹配方法，步驟6：利用Y?Deeplab?v3plus分割書籍圖像，得到精準(zhǔn)的書脊圖像作為深度特征級聯(lián)匹配方法的查詢圖像，并對查詢圖像進(jìn)行深度特征提取與匹配，得到書脊圖像的匹配結(jié)果。該方法可以有效提高書脊分割與匹配的準(zhǔn)確率，提高書脊匹配的效率。

技術(shù)研發(fā)人員：姬曉飛,唐李榮,趙思旭,王艷輝
受保護(hù)的技術(shù)使用者：沈陽航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6