本發(fā)明涉及圖像檢測(cè)，具體而言，涉及一種基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)提醒換液方法、設(shè)備及介質(zhì)。

背景技術(shù)：

1、現(xiàn)有醫(yī)療資源本來(lái)就比較緊張，特別是遇到流行性疾病時(shí)，大量病人涌入醫(yī)院，亟需輸液治療。這時(shí)往往會(huì)出現(xiàn)一個(gè)醫(yī)護(hù)人員同時(shí)照看十個(gè)或以上的病人，每個(gè)病人應(yīng)該得到相同的呵護(hù)，但即使一個(gè)看似簡(jiǎn)單的換液，也會(huì)讓醫(yī)護(hù)人員疲于奔命：比如醫(yī)護(hù)人員頻繁檢查輸液袋剩余量的時(shí)間，讓他們不能專注于其他護(hù)理工作，又比如醫(yī)護(hù)人員人工監(jiān)控輸液過(guò)程容易受到疲勞、分心等因素的影響，可能導(dǎo)致錯(cuò)過(guò)換液的最佳時(shí)機(jī)，再比如及時(shí)更換輸液袋對(duì)于患者的治療和安全至關(guān)重要，及時(shí)換液避免空輸液管導(dǎo)致的血液回流或其他并發(fā)癥。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)提醒換液方法、設(shè)備及介質(zhì)，以解決上述問(wèn)題。

2、為解決以上技術(shù)問(wèn)題，本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)提醒換液方法，包括：

3、拍攝不同場(chǎng)景中的輸液瓶圖片，分類后對(duì)所有拍攝的圖片進(jìn)行集中預(yù)處理；

4、構(gòu)建混合神經(jīng)網(wǎng)絡(luò)，對(duì)預(yù)處理后的圖片集進(jìn)行特征提取，并對(duì)提取后的圖像做特征增強(qiáng)處理；

5、對(duì)提取的輸液瓶圖像進(jìn)行分類，并根據(jù)分類的結(jié)果，預(yù)測(cè)當(dāng)前輸液瓶中的液體是否需要換液；

6、根據(jù)預(yù)測(cè)的結(jié)果，收集數(shù)據(jù)集，并分類形成訓(xùn)練集和測(cè)試集對(duì)模型的輸出準(zhǔn)確率進(jìn)行驗(yàn)證。

7、作為一種可選方式，對(duì)所有拍攝的圖片進(jìn)行集中預(yù)處理包括：對(duì)輸液瓶中的液體圖片進(jìn)行篩選與修復(fù)；

8、其中，篩選包括：篩選不同場(chǎng)景、不同時(shí)間與不同容量，所有符合國(guó)家藥包標(biāo)準(zhǔn)中的不同規(guī)格尺寸處于不同位置狀態(tài)的輸液瓶中的液面圖片，用于構(gòu)建圖片豐富度，并剔除采集到的輸液瓶圖像中液面完全被遮擋的圖片、輸液瓶上的刻度因在使用過(guò)程磨損較大或有雜質(zhì)遮擋導(dǎo)致的極為不清晰的圖片；

9、修復(fù)用于將圖片進(jìn)行尺寸統(tǒng)一和顏色歸一化處理。

10、作為一種可選方式，篩選不同規(guī)格尺寸處于不同位置狀態(tài)的輸液瓶中的液面圖片，包括：

11、將不同場(chǎng)景中的輸液瓶圖片基于瓶?jī)?nèi)液體的顏色像素值進(jìn)行分類，形成第一液體數(shù)據(jù)集與第二液體數(shù)據(jù)集，將第一液體數(shù)據(jù)集中像素值超過(guò)預(yù)設(shè)閾值的部分進(jìn)行圖像翻譯，將其轉(zhuǎn)換為符合第二液體數(shù)據(jù)集特征的圖像，其包括：

12、將無(wú)配對(duì)的第一液體數(shù)據(jù)集與第二液體數(shù)據(jù)集作為輸入?yún)?shù)，基于對(duì)比非配對(duì)翻譯通過(guò)生成器將第一液體數(shù)據(jù)集轉(zhuǎn)換為第二液體數(shù)據(jù)集的圖像，并通過(guò)標(biāo)準(zhǔn)對(duì)抗性損失對(duì)該轉(zhuǎn)換過(guò)程進(jìn)行激勵(lì)；其中，

13、第一液體數(shù)據(jù)集的圖片通過(guò)生成器轉(zhuǎn)換為第二液體數(shù)據(jù)集的配對(duì)圖片時(shí)，通過(guò)判別器進(jìn)行約束以使轉(zhuǎn)換后的重構(gòu)圖與其原始圖片維持色塊級(jí)特征相同；

14、之后，將第一液體數(shù)據(jù)集中錨定像素值超過(guò)預(yù)設(shè)閾值的部分，將其進(jìn)行分割作為第一液體數(shù)據(jù)集與第二液體數(shù)據(jù)集的輪廓關(guān)聯(lián)特征；基于該輪廓關(guān)聯(lián)特征，構(gòu)建輪廓關(guān)聯(lián)特征數(shù)據(jù)集，通過(guò)二元交叉熵?fù)p失對(duì)上述翻譯進(jìn)行訓(xùn)練；錨定像素值為圖像中輸液瓶面積區(qū)域內(nèi)的像素值。

15、作為一種可選方式，修復(fù)用于將圖片進(jìn)行尺寸統(tǒng)一和顏色歸一化處理，按照如下方式進(jìn)行：

16、s1、按照預(yù)設(shè)尺寸裁剪圖像，通過(guò)取景中心對(duì)齊輸液瓶幾何中心的方式，去除包括背景在內(nèi)的其他無(wú)關(guān)區(qū)域，只保留輸液瓶區(qū)域；

17、s2、調(diào)整圖像對(duì)比度，使用自適應(yīng)直方圖均衡化對(duì)對(duì)比度進(jìn)行直方圖均衡化，增加去除無(wú)關(guān)區(qū)域后的輸液瓶圖像對(duì)比度，使液面與輸液瓶對(duì)比區(qū)分更加明顯；

18、s3、調(diào)整圖像亮度，以使輸液瓶中液面更加清晰，并丟棄調(diào)整亮度后輸液瓶液面仍不清晰的圖像；

19、s4、銳化圖像，通過(guò)高通濾波器增強(qiáng)輸液瓶液面圖像的高頻成分，從而增強(qiáng)圖像的細(xì)節(jié)，使輸液瓶中液面輪廓更加清晰；

20、s5、圖像去噪，使用中值濾波去除圖像噪聲，提高圖像質(zhì)量；

21、s6、對(duì)有管線和/或商標(biāo)遮擋輸液瓶液面的圖像，進(jìn)行圖像修復(fù)。

22、作為一種可選方式，上述s6中，對(duì)有管線和/或商標(biāo)遮擋輸液瓶液面的圖像，進(jìn)行圖像修復(fù)包括如下方法：

23、使用sobel算子在圖像的水平和垂直方向進(jìn)行處理，對(duì)圖像亮度梯度進(jìn)行近似計(jì)算，獲得更清晰的液面圖像的液位圖像邊緣；

24、通過(guò)掃描水平方向的各個(gè)液面位置信息的邊緣點(diǎn)的累積個(gè)數(shù)，判定各個(gè)液面位置信息是否為暫時(shí)的合格線，合格線的合格標(biāo)準(zhǔn)為：累積邊緣點(diǎn)個(gè)數(shù)達(dá)到整行的十分之一以上；

25、若只有一條合格線大于預(yù)設(shè)值，則判定該合格線所代表的液面位置信息為當(dāng)前液位所在的位置；若有多條合格線大于預(yù)設(shè)值，則按照長(zhǎng)度對(duì)合格線進(jìn)行排序，并優(yōu)先判定最長(zhǎng)的合格線；

26、將最長(zhǎng)的合格線所代表的液面位置與上一幀圖片的液位進(jìn)行比較，若無(wú)位置變化，則判定該合格線線不為液位所在位置，并記錄不為液位的位置與液面長(zhǎng)度；若有位置變化，則判定為液位所在位置并記錄該液面長(zhǎng)度；其中，通過(guò)設(shè)置水平投影線段長(zhǎng)度閾值來(lái)排除無(wú)用的水平邊緣。

27、作為一種可選方式，圖像修復(fù)還包括：

28、采用積分投影法對(duì)輸液瓶液位進(jìn)行檢測(cè)，對(duì)圖像從水平和垂直兩個(gè)方向進(jìn)行投影，通過(guò)水平投影的方法對(duì)圖像的液位進(jìn)行定位；其中，

29、若圖像中液面由于干擾而不平整，通過(guò)取液位分量每一列的像素長(zhǎng)度為該列的液位高度，然后選擇液位高度數(shù)值最大數(shù)值的平均值作為液位的像素高度，進(jìn)行液位高度的修正；

30、采用譜聚類算法對(duì)圖像中的瓶體部分進(jìn)行灰度級(jí)分割，構(gòu)建形成相似度矩陣；對(duì)該矩陣進(jìn)行特征分解，提取其特征向量，根據(jù)預(yù)設(shè)數(shù)量的最大的特征值對(duì)應(yīng)的特征向量來(lái)選擇聚類的數(shù)量，將其作為數(shù)據(jù)點(diǎn)在低維空間中的表示，然后采用dbscan?算法來(lái)對(duì)這些數(shù)據(jù)點(diǎn)進(jìn)行聚類；

31、在得到的聚類結(jié)果中，識(shí)別出灰度值最低的類別，并在該類別中選擇最大的灰度值作為二值化處理的閾值；根據(jù)確定的閾值將圖像轉(zhuǎn)換為二值圖像，將二值圖像中高于閾值的像素視為液體部分，低于閾值的像素則被視為背景或其他非液體部分，進(jìn)行剔除；

32、最后，選擇液位高度數(shù)值最大數(shù)值的平均值作為液位的像素坐標(biāo)，確定為液體像素高度。

33、作為一種可選方式，在采集輸液瓶中液面圖像過(guò)程中，需要通過(guò)人工標(biāo)注輸液瓶液面對(duì)應(yīng)的實(shí)際液體體積及是否需要換液，并選取大量的混合的不同數(shù)量的符合國(guó)家藥包標(biāo)準(zhǔn)的不同尺寸的輸液瓶中液面處于不同狀態(tài)，液體顏色不同的輸液瓶以及輸液瓶本身顏色有細(xì)微差異的已進(jìn)行人工標(biāo)注好的液體體積的輸液瓶圖片輸入模型。

34、作為一種可選方式，構(gòu)建混合神經(jīng)網(wǎng)絡(luò)，對(duì)預(yù)處理后的圖片集進(jìn)行特征提取，并對(duì)提取后的圖像做特征增強(qiáng)處理，包括：

35、基于levit深度學(xué)習(xí)算法設(shè)置卷積層、池化層與全連接層；卷積層用于提取所有符合國(guó)家藥包標(biāo)準(zhǔn)的輸液瓶的圖像中的局部特征，池化層用于對(duì)卷積層的輸出進(jìn)行降維，對(duì)輸液瓶中液體的主要特征進(jìn)行輸出；全連接層用于將池化層的輸出分類并基于輸液瓶的液面狀態(tài)是否需要分類進(jìn)行預(yù)測(cè)。

36、作為一種可選方式，對(duì)提取的輸液瓶圖像進(jìn)行分類，并根據(jù)分類的結(jié)果，預(yù)測(cè)當(dāng)前輸液瓶中的液體是否需要換液包括：

37、采用分類器對(duì)提取的輸液瓶圖像特征進(jìn)行分類，并預(yù)測(cè)出當(dāng)前輸液瓶中的液體是否需要換液；其中，采用softmax作為分類器，并在過(guò)程中隨機(jī)丟棄神經(jīng)元來(lái)避免輸液瓶圖像集與生成的模型參數(shù)擬合。

38、另一方面，本發(fā)明提供了一種電子設(shè)備，作為一種可選方式，包括：存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；處理器，用于執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)提醒換液方法的步驟。

39、另一方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，作為一種可選方式，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)提醒換液方法的步驟。

40、本發(fā)明的有益效果為：

41、本發(fā)明發(fā)明通過(guò)熱成像系統(tǒng)實(shí)時(shí)提供圖片，智能計(jì)算系統(tǒng)通過(guò)深度學(xué)習(xí)算法可以非常精準(zhǔn)且實(shí)時(shí)地預(yù)測(cè)出輸液瓶是否需要換液及提醒相關(guān)醫(yī)護(hù)人員，提高了醫(yī)療護(hù)理的自動(dòng)化水平和安全性。以實(shí)現(xiàn)實(shí)時(shí)、準(zhǔn)確地監(jiān)控輸液瓶中的液體體積并自動(dòng)提醒換液，提高護(hù)理質(zhì)量，減少因液體量不足導(dǎo)致的醫(yī)療事故。