本技術(shù)涉及計算機領(lǐng)域,具體涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備和計算機可讀存儲介質(zhì)。
背景技術(shù):
1、隨著信息技術(shù)的發(fā)展,各行各業(yè)都需要處理大量的數(shù)據(jù),以實現(xiàn)不同的應(yīng)用和功能。在進(jìn)行數(shù)據(jù)處理之前,數(shù)據(jù)采集是必不可少的步驟。
2、然而,各類所采集數(shù)據(jù)中往往包含了大量的噪聲數(shù)據(jù),過多的噪聲數(shù)據(jù)會導(dǎo)致所采集數(shù)據(jù)的不可靠性增大,影響下游應(yīng)用的用戶體驗。相關(guān)技術(shù)中,對所采集數(shù)據(jù)中的噪聲數(shù)據(jù)進(jìn)行去噪時,往往采用針對特定分布或是稀疏結(jié)構(gòu)的噪聲而設(shè)計的去噪方法,這樣只能去除掉特定的噪聲,所采集數(shù)據(jù)的可靠性仍然很低。
3、因此,如何提高噪聲去除的可靠性是亟待解決的問題。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題,本技術(shù)的實施例提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備以及計算機可讀存儲介質(zhì),可以提高噪聲去除的可靠性。
2、其中,本技術(shù)所采用的技術(shù)方案為:
3、一種數(shù)據(jù)處理方法,包括:
4、基于初始輸入數(shù)據(jù)獲得目標(biāo)數(shù)據(jù),所述目標(biāo)數(shù)據(jù)包括不規(guī)則噪聲數(shù)據(jù)和規(guī)則噪聲數(shù)據(jù);
5、基于先驗信息計算得到針對所述目標(biāo)數(shù)據(jù)的第一正則化損失,以及計算得到所述初始輸入數(shù)據(jù)的第二正則化損失;
6、基于所述第二正則化損失計算得到去除所述不規(guī)則噪聲數(shù)據(jù)對去除所述規(guī)則噪聲數(shù)據(jù)的影響參數(shù)信息;
7、基于所述影響參數(shù)信息和所述第一正則化損失對所述目標(biāo)數(shù)據(jù)中的規(guī)則噪聲數(shù)據(jù)和不規(guī)則噪聲數(shù)據(jù)進(jìn)行去除,得到所述目標(biāo)數(shù)據(jù)對應(yīng)的去噪后的數(shù)據(jù)。
8、一種數(shù)據(jù)處理設(shè)備,包括:
9、獲取單元,用于基于初始輸入數(shù)據(jù)獲得目標(biāo)數(shù)據(jù),所述目標(biāo)數(shù)據(jù)包括不規(guī)則噪聲數(shù)據(jù)和規(guī)則噪聲數(shù)據(jù);
10、計算單元,用于基于先驗信息計算得到針對所述目標(biāo)數(shù)據(jù)的第一正則化損失,以及計算得到所述初始輸入數(shù)據(jù)的第二正則化損失;
11、所述計算單元,基于所述第二正則化損失計算去除所述不規(guī)則噪聲數(shù)據(jù)對去除所述規(guī)則噪聲數(shù)據(jù)的影響參數(shù)信息;
12、去除單元,用于基于所述影響參數(shù)信息和所述第一正則化損失對所述目標(biāo)數(shù)據(jù)中的規(guī)則噪聲數(shù)據(jù)和不規(guī)則噪聲數(shù)據(jù)進(jìn)行去除,得到所述目標(biāo)數(shù)據(jù)對應(yīng)的去噪后的數(shù)據(jù)。
13、在本技術(shù)的一個實施例中,基于前述方案,所述目標(biāo)數(shù)據(jù)為目標(biāo)矩陣,所述目標(biāo)矩陣包括多個第一元素;所述獲取單元,還用于針對每個第一元素,獲取所述第一元素相匹配的第二元素,所述第二元素是所述第一元素所在列中的元素,并且,處理單元,用于基于所述先驗信息確定的所述第一元素和所述第二元素分別對應(yīng)的流動狀態(tài),計算得到所述第一元素對應(yīng)的第一物理損失值;將所述每個第一元素對應(yīng)的第一物理損失值進(jìn)行整合,得到所述第一正則化損失。
14、在本技術(shù)的一個實施例中,基于前述方案,所述先驗信息包括速度與流動狀態(tài)之間的映射關(guān)系;所述處理單元,還用于若基于所述映射關(guān)系檢測到待定元素的速度大于臨界速度值,則確定所述待定元素屬于自由流動狀態(tài);其中,所述待定元素為所述第一元素和所述第二元素中的任意一個元素;若基于所述映射關(guān)系檢測到待定元素的速度小于或等于所述臨界速度值,則確定所述待定元素屬于擁堵流動狀態(tài);所述計算單元,還用于基于所述第一元素和所述第二元素分別對應(yīng)的流動狀態(tài),計算得到所述第一元素對應(yīng)的第一物理損失值。
15、在本技術(shù)的一個實施例中,基于前述方案,所述獲取單元,還用于獲取所述第一元素相匹配的第三元素和第四元素,所述第三元素是所述第一元素所在行中的元素,所述第四元素是所述第三元素所在列中的元素;所述計算單元,還用于基于所述第一元素與所述第二元素分別對應(yīng)的流動狀態(tài)、所述第一元素和第三元素之間的速度大小關(guān)系,以及所述第三元素和所述第四元素之間的速度大小關(guān)系,計算得到所述第一元素對應(yīng)的第一物理損失值。
16、在本技術(shù)的一個實施例中,基于前述方案,所述初始輸入數(shù)據(jù)包括多個第五元素;所述計算單元,還用于基于所述第五元素與第六元素分別對應(yīng)的流動狀態(tài)、所述第五元素和第七元素之間的速度大小關(guān)系,以及所述第七元素和第八元素之間的速度大小關(guān)系,計算得到所述第五元素對應(yīng)的第二物理損失值;其中,所述第六元素是所述第五元素所在列中的元素,所述第七元素是所述第五元素所在行中的元素,所述第八元素是所述第七元素所在列中的元素;將所述每個第五元素對應(yīng)的第二物理損失值進(jìn)行整合,得到所述第二正則化損失。
17、在本技術(shù)的一個實施例中,基于前述方案,所述計算單元,還用于基于所述第二正則化損失計算得到掩碼矩陣數(shù)據(jù);所述獲取單元,還用于獲取所述規(guī)則噪聲數(shù)據(jù)的重建損失值;基于所述掩碼矩陣數(shù)據(jù)和所述重建損失值計算得到所述影響參數(shù)信息。
18、在本技術(shù)的一個實施例中,基于前述方案,所述計算單元,還用于基于所述第二正則化損失計算得到噪音概率值;所述處理單元,還用于將噪音概率值小于或等于預(yù)設(shè)噪音遮蔽概率閾值的元素作為遮蔽元素;對所述待遮蔽元素進(jìn)行遮蔽處理,得到已遮蔽元素;將所得到的已遮蔽元素進(jìn)行整合,得到所述掩碼矩陣數(shù)據(jù)。
19、在本技術(shù)的一個實施例中,基于前述方案,所述獲取單元,還用于獲取所述初始輸入數(shù)據(jù);所述處理單元,還用于對所述初始輸入數(shù)據(jù)進(jìn)行多次加噪處理,得到已加噪數(shù)據(jù);對所述已加噪數(shù)據(jù)進(jìn)行多次去噪處理,將任意一次去噪過程中所輸入的數(shù)據(jù)作為所述目標(biāo)數(shù)據(jù)。
20、在本技術(shù)的一個實施例中,基于前述方案,所述計算單元,還用于對從所述初始輸入數(shù)據(jù)采樣得到的初始輸入矩陣進(jìn)行狀態(tài)轉(zhuǎn)移計算,得到第一速度數(shù)據(jù);從所述第一速度數(shù)據(jù)中采樣得到第一速度矩陣;重復(fù)對所述第一速度矩陣進(jìn)行狀態(tài)轉(zhuǎn)移計算,直至得到的第一速度矩陣滿足預(yù)設(shè)噪聲條件;所述處理單元,還用于將滿足所述預(yù)設(shè)噪聲條件的第一速度矩陣對應(yīng)的數(shù)據(jù)作為所述已加噪數(shù)據(jù)。
21、在本技術(shù)的一個實施例中,基于前述方案,所述第一正則化損失與所述影響參數(shù)信息中均包括多個元素;所述獲取單元,還用于獲取所述影響參數(shù)信息的第一權(quán)重值,以及獲取第一正則化損失的第二權(quán)重值;所述計算單元,還用于基于所述第一權(quán)重值和所述第二權(quán)重值,對所述影響參數(shù)信息和所述第一正則化損失中的所有元素進(jìn)行求和運算,得到整體正則化損失;所述處理單元,還用于基于所述整體正則化損失對所述目標(biāo)數(shù)據(jù)中的規(guī)則噪聲數(shù)據(jù)和不規(guī)則噪聲數(shù)據(jù)進(jìn)行去除,得到所述目標(biāo)數(shù)據(jù)對應(yīng)的去噪后的數(shù)據(jù)。
22、一種數(shù)據(jù)處理設(shè)備,包括處理器及存儲器,存儲器上存儲有計算機可讀指令,計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上的數(shù)據(jù)處理方法。
23、一種計算機可讀存儲介質(zhì),其上存儲有計算機可讀指令,當(dāng)計算機可讀指令被計算機的處理器執(zhí)行時,使計算機執(zhí)行如上的數(shù)據(jù)處理方法。
24、一種計算機程序產(chǎn)品,包括計算機可讀指令,計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上的數(shù)據(jù)處理方法。
25、在上述技術(shù)方案中:
26、一方面,基于先驗信息計算規(guī)則噪聲數(shù)據(jù)和不規(guī)則噪聲數(shù)據(jù)的第一正則化損失,為去除噪聲提供了先驗知識,彌補了相關(guān)技術(shù)中對不規(guī)則噪聲進(jìn)行去噪處理的信息不足的問題,提高了噪聲去除的可靠性。
27、另一方面,計算了去除不規(guī)則噪聲數(shù)據(jù)對去除規(guī)則噪聲數(shù)據(jù)的影響參數(shù)信息,并給予該影響參數(shù)信息對目標(biāo)數(shù)據(jù)進(jìn)行去噪處理。通過該影響參數(shù)信息,可以避免在去除不規(guī)則噪聲數(shù)據(jù)時,將部分規(guī)則噪聲數(shù)據(jù)也一并去除的現(xiàn)象,也即避免了不規(guī)則噪聲對規(guī)則噪聲數(shù)據(jù)的干擾,進(jìn)一步提高了噪聲去除的可靠性。
28、應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本技術(shù)。