1.本技術(shù)涉及曝光成像領(lǐng)域，尤其涉及一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。


背景技術(shù)：

2.數(shù)碼成像的傳感器在進行拍攝時，會交織輸出多種曝光幀。相關(guān)技術(shù)中，將交織輸出的多個曝光幀分開，并將分開后的每個曝光幀分別通過不同的通路輸入對應(yīng)的處理器進行圖像信號處理。導(dǎo)致通路占用過多，資源消耗較大。


技術(shù)實現(xiàn)要素：

3.本技術(shù)的目的旨在至少在一定程度上解決上述技術(shù)中的技術(shù)問題之一。
4.本技術(shù)第一方面提供了一種圖像處理方法，包括：獲取行交織信號，并根據(jù)所述行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；將所述不同曝光幀的全部所述單行幀進行組合，生成待處理組合幀；對所述待處理組合幀進行圖像處理，生成所述每個曝光幀對應(yīng)的目標幀。
5.本技術(shù)第一方面提供的一種圖像處理方法，還具備如下技術(shù)特征，包括：
6.根據(jù)本技術(shù)一實施例，所述生成不同曝光幀各自的單行幀，包括：按序逐行獲取所述行交織信號中的每個單行信號，從所述每個單行信號的屬性信息中，確定所述每個單行信號的所屬曝光類型；根據(jù)所述曝光類型，生成所述每個單行信號對應(yīng)的所述單行幀。
7.根據(jù)本技術(shù)一實施例，所述將所述不同曝光幀的全部所述單行幀進行組合，生成待處理組合幀，包括：對每個單行幀進行擴邊；將屬于同組的擴邊后的所述每個單行幀進行拼接，生成單行組合幀；將全部的單行組合幀進行組合，生成待處理組合幀。
8.根據(jù)本技術(shù)一實施例，所述對每個單行幀進行擴邊，包括：基于圖像處理器中的濾波窗的處理距離，確定所述每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域；根據(jù)所述縱向擴邊區(qū)域和所述橫向擴邊區(qū)域，生成所述每個單行幀的所述擴邊區(qū)域。
9.根據(jù)本技術(shù)一實施例，所述基于濾波窗的處理距離，確定所述每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域，包括：基于所述處理距離與所述每個單行幀的高度，確定所述每個單行幀的縱向擴邊區(qū)域，其中，所述縱向擴邊區(qū)域與所屬的單行幀相鄰，且所述屬于同組的每個單行幀的縱向擴邊區(qū)域相鄰且不重疊；基于所述處理距離與所述每個單行幀的寬度，確定所述每個單行幀的橫向擴邊區(qū)域，其中，所述橫向擴邊區(qū)域與所屬的所述單行幀相鄰；將所述縱向擴邊區(qū)域和所述橫向擴邊區(qū)域沿所屬的所述單行幀進行組合，生成所述每個單行幀的所述擴邊區(qū)域。
10.根據(jù)本技術(shù)一實施例，確定所述單行幀為屬于同組的單行幀，包括：獲取所述單行幀的坐標信息；將所述坐標信息中縱坐標相同的所述單行幀，確定為所述屬于同組的單行幀，其中，所述屬于同組的單行幀包括至少一個單行幀。
11.根據(jù)本技術(shù)一實施例，所述將屬于同組的擴邊后的所述每個單行幀進行拼接時存
在空白區(qū)域，其中，所述空白區(qū)域的識別，包括：確定所述屬于同組的單行幀數(shù)量的門限值，其中，所述門限值基于所述不同曝光幀的數(shù)量確定；響應(yīng)于所述同組的擴邊后的所述單行幀的數(shù)量小于所述門限值，則將所述同組的單行幀的所屬成像覆蓋區(qū)域中，所述單行幀和對應(yīng)的擴邊區(qū)域未占用的區(qū)域，確定為所述空白區(qū)域。
12.根據(jù)本技術(shù)一實施例，所述將屬于同組的擴邊后的所述每個單行幀進行拼接，生成單行組合幀，包括：獲取所述擴邊區(qū)域的第一數(shù)據(jù)，并使用所述第一數(shù)據(jù)對所述擴邊區(qū)域進行填充，其中，所述第一數(shù)據(jù)為所述擴邊區(qū)域所屬的所述單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取所述空白區(qū)域的第二數(shù)據(jù)，并使用所述第二數(shù)據(jù)對所述空白區(qū)域進行填充，其中，所述第二數(shù)據(jù)為空白字符；將所述屬于同組的每個單行幀，和所述屬于同組的每個單行幀對應(yīng)的填充后的所述空白區(qū)域以及所述擴邊區(qū)域按序拼接，生成所述單行組合幀。
13.根據(jù)本技術(shù)一實施例，所述將全部的單行組合幀進行組合，生成待處理組合幀，包括：根據(jù)每個單行組合幀生成時序，將所述每個單行組合幀進行拼接，并基于拼接后的全部單行組合幀，生成所述待處理組合幀。
14.根據(jù)本技術(shù)一實施例，所述對所述待處理組合幀進行圖像處理，生成所述每個曝光幀對應(yīng)的目標幀，包括：將所述待處理組合幀中所述每個曝光幀的首行幀首位像素點的位置，確定為所述每個曝光幀的起始位置；從所述每個曝光幀的所述起始位置開始，使用所述起始位置對應(yīng)的曝光幀的匹配參數(shù)進行圖像處理，并在下一個曝光幀的所述起始位置，將所述匹配參數(shù)變更為所述下一個曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對所述下一個曝光幀進行圖像處理，直至所述每個曝光幀處理完畢，生成所述每個曝光幀對應(yīng)的所述目標幀。
15.本技術(shù)第二方面提供了一種圖像處理裝置，包括：提取生成模塊，用于獲取行交織信號，并根據(jù)所述行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；組合模塊，用于將所述不同曝光幀的全部所述單行幀進行組合，生成待處理組合幀；成像模塊，用于對所述待處理組合幀進行圖像處理，生成所述每個曝光幀對應(yīng)的目標幀。
16.本技術(shù)第二方面提供的一種圖像處理裝置，還具備如下技術(shù)特征，包括：
17.根據(jù)本技術(shù)一實施例，所述提取生成模塊，還用于：按序逐行獲取所述行交織信號中的每個單行信號，從所述每個單行信號的屬性信息中，確定所述每個單行信號的所屬曝光類型；根據(jù)所述曝光類型，生成所述每個單行信號對應(yīng)的所述單行幀。
18.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：對每個單行幀進行擴邊；將屬于同組的擴邊后的所述每個單行幀進行拼接，生成單行組合幀；將全部的單行組合幀進行組合，生成待處理組合幀。
19.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：基于圖像處理器中的濾波窗的處理距離，確定所述每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域；根據(jù)所述縱向擴邊區(qū)域和所述橫向擴邊區(qū)域，生成所述每個單行幀的所述擴邊區(qū)域。
20.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：基于所述處理距離與所述每個單行幀的高度，確定所述每個單行幀的縱向擴邊區(qū)域，其中，所述縱向擴邊區(qū)域與所屬的單行幀相鄰，且所述屬于同組的每個單行幀的縱向擴邊區(qū)域相鄰且不重疊；基于所述處理距離與所述每個單行幀的寬度，確定所述每個單行幀的橫向擴邊區(qū)域，其中，所述橫向擴邊區(qū)域與
所屬的所述單行幀相鄰；將所述縱向擴邊區(qū)域和所述橫向擴邊區(qū)域沿所屬的所述單行幀進行組合，生成所述每個單行幀的所述擴邊區(qū)域。
21.根據(jù)本技術(shù)一實施例，確定組合模塊，還用于：獲取所述單行幀的坐標信息；將所述坐標信息中縱坐標相同的所述單行幀，確定為所述屬于同組的單行幀，其中，所述屬于同組的單行幀包括至少一個單行幀。
22.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：確定所述屬于同組的單行幀數(shù)量的門限值，其中，所述門限值基于所述不同曝光幀的數(shù)量確定；響應(yīng)于所述同組的擴邊后的所述單行幀的數(shù)量小于所述門限值，則將所述同組的單行幀的所屬成像覆蓋區(qū)域中，所述單行幀和對應(yīng)的擴邊區(qū)域未占用的區(qū)域，確定為所述空白區(qū)域。
23.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：獲取所述擴邊區(qū)域的第一數(shù)據(jù)，并使用所述第一數(shù)據(jù)對所述擴邊區(qū)域進行填充，其中，所述第一數(shù)據(jù)為所述擴邊區(qū)域所屬的所述單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取所述空白區(qū)域的第二數(shù)據(jù)，并使用所述第二數(shù)據(jù)對所述空白區(qū)域進行填充，其中，所述第二數(shù)據(jù)為空白字符；將所述屬于同組的每個單行幀，和所述屬于同組的每個單行幀對應(yīng)的填充后的所述空白區(qū)域以及所述擴邊區(qū)域按序拼接，生成所述單行組合幀。
24.根據(jù)本技術(shù)一實施例，所述組合模塊，還用于：根據(jù)每個單行組合幀生成時序，將所述每個單行組合幀進行拼接，并基于拼接后的全部單行組合幀，生成所述待處理組合幀。
25.根據(jù)本技術(shù)一實施例，所述成像模塊，還用于：將所述待處理組合幀中所述每個曝光幀的首行幀首位像素點的位置，確定為所述每個曝光幀的起始位置；從所述每個曝光幀的所述起始位置開始，使用所述起始位置對應(yīng)的曝光幀的匹配參數(shù)進行圖像處理，并在下一個曝光幀的所述起始位置，將所述匹配參數(shù)變更為所述下一個曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對所述下一個曝光幀進行圖像處理，直至所述每個曝光幀處理完畢，生成所述每個曝光幀對應(yīng)的所述目標幀。
26.本技術(shù)第三方面實施例提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
27.本技術(shù)第四方面實施例提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，所述計算機指令用于使所述計算機執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
28.本技術(shù)第五方面實施例提供了一種計算機程序產(chǎn)品，當(dāng)所述計算機程序產(chǎn)品中的指令處理器執(zhí)行時，執(zhí)行本技術(shù)第一方面提供的圖像處理方法。
29.本技術(shù)提供的圖像處理方法及裝置，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進行圖像處理，從而生成每個曝光幀對應(yīng)的目標幀。本技術(shù)中，基于時分復(fù)用技術(shù)實現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時處理多個曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進行圖像處理的資源消耗。
30.本技術(shù)附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實踐了解到。
附圖說明
31.本技術(shù)上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中：
32.圖1為本技術(shù)一實施例的圖像處理方法的流程示意圖；
33.圖2為本技術(shù)另一實施例的圖像處理方法的流程示意圖；
34.圖3為本技術(shù)另一實施例的圖像處理方法的流程示意圖；
35.圖4為本技術(shù)一實施例的待處理組合幀的結(jié)構(gòu)示意圖；
36.圖5為本技術(shù)另一實施例的圖像處理方法的流程示意圖；
37.圖6為本技術(shù)另一實施例的圖像處理方法的流程示意圖；
38.圖7為本技術(shù)一實施例的圖像處理裝置的結(jié)構(gòu)示意圖；
39.圖8為本技術(shù)另一實施例的圖像處理裝置的結(jié)構(gòu)示意圖；
40.圖9是本技術(shù)一實施例的電子設(shè)備的框圖。
具體實施方式
41.下面詳細描述本技術(shù)的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本技術(shù)，而不能理解為對本技術(shù)的限制。
42.下面參考附圖描述本技術(shù)實施例的圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。
43.圖1為本技術(shù)一實施例的圖像處理方法的流程示意圖，如圖1所示，該方法包括：
44.s101，獲取行交織信號，并根據(jù)行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀。
45.實現(xiàn)中，數(shù)碼成像傳感器(sensor)可以通過行交織信號的方式輸出多種曝光類型的曝光幀的成像信號，其中，可以根據(jù)曝光幀的曝光時間確定對應(yīng)的曝光類型。比如長曝光類型、短曝光類型、超短曝光類型等等。
46.可選地，基于sensor對拍攝對象的不同曝光時間的拍攝，從而生成不同曝光類型的曝光幀的成像信號。并基于時分復(fù)用技術(shù)(time-division multiplexing,tdm)將不同的曝光類型的曝光幀信號相互交織在不同的時間段內(nèi)，并沿同一個信道傳輸，從而生成對應(yīng)的行交織信號。
47.進一步地，在行交織信號傳輸?shù)男诺赖妮敵龆丝冢倩趖dm對行交織信號中每個時間段內(nèi)的信號逐行提取并還原，從而獲取不同曝光幀的每一行的成像信號，進而生成每一行成像信號對應(yīng)的曝光幀中的單行幀。
48.比如，設(shè)定行交織信號中攜帶有長曝光、短曝光兩種曝光類型的曝光幀的成像信號，長曝光的成像信號先行輸出，間隔設(shè)定時間后，短曝光的成像信號開始輸出，其中，長曝光的成像信號與短曝光的成像信號通過行交織的方式輸出。通過tdm對其中的長曝光的成像信號與短曝光的成像信號進行提取。
49.當(dāng)從行交織信號中提取到長曝光幀的成像信號時，則基于行交織信號中每一行的長曝光幀的成像信號，逐行生成對應(yīng)的單行幀。
50.當(dāng)從行交織信號中提取到長曝光的成像幀信號和短曝光幀的成像信號交織輸出時，則在提取到某一行長曝光幀的成像信號時，生成對應(yīng)的長曝光幀的單行幀，在提取到下
一行短曝光幀的成像信號時，則生成對應(yīng)的短曝光幀的單行幀。
51.s102，將不同曝光幀的全部單行幀進行組合，生成待處理組合幀。
52.實現(xiàn)中，可以通過圖像處理器對不同的曝光幀進行圖像處理，比如圖像信號處理(image signal processing，isp)。
53.基于與isp連接的通路，將曝光幀輸入對應(yīng)的isp，基于isp的圖像處理生成曝光幀對應(yīng)的人眼可視的圖像。
54.本技術(shù)實施例中，可以將基于sensor輸出的行交織信號生成的不同的曝光幀進行組合，使得isp可以對組合狀態(tài)下的曝光幀進行圖像處理。
55.其中，可以對生成的不同曝光幀的單行幀分別進行組合，生成對應(yīng)的組合單行幀，并將每個組合單行幀進行進一步的組合，從而實現(xiàn)行交織信號中攜帶的成像信號對應(yīng)的不同曝光幀的組合。
56.進一步地，可以將不同的曝光幀的組合確定為待處理組合幀。
57.可選地，不同的曝光幀的單行幀的成像位置存在不同，因此，可以將位置上存在關(guān)聯(lián)關(guān)系的單行幀進行組合。
58.比如，在上述示例的基礎(chǔ)上，逐行生成長曝光幀的單行幀和短曝光幀的單行幀后，可以針對其中某一行長曝光幀的單行幀和某一行短曝光幀的單行幀，獲取二者之間的位置關(guān)系。若確定二者之間的位置存在關(guān)系關(guān)聯(lián)，則可以將該長曝光幀的單行幀和該短曝光幀的單行幀進行組合，從而生成該長曝光幀的單行幀和該短曝光幀的單行幀對應(yīng)的組合單行幀。
59.進一步地，對基于行交織信號生成的每一個曝光幀的單行幀與位置關(guān)聯(lián)的單行幀之間進行組合，并對組合獲取到的全部的組合單行幀進行進一步組合，從而生成對應(yīng)的待處理組合幀。
60.s103，對待處理組合幀進行圖像處理，生成每個曝光幀對應(yīng)的目標幀。
61.本技術(shù)實施例中，可以通過圖像處理器對待處理組合幀中的每個曝光幀分別進行圖像處理。
62.可選地，isp可以對待處理組合幀中的每一個曝光幀，分別進行自動曝光控制(aec)、自動增益控制(agc)、自動白平衡(awb)、色彩校正、祛除壞點、鏡頭陰影(lens shading)、黑色電平自動校正(auto black level)、白色電平自動校正(auto white level)等處理，從而生成每一個曝光幀對應(yīng)的人眼可視的圖像。
63.進一步地，基于對待處理組合幀中的每一個曝光幀的分別處理，從而生成每一個曝光幀對應(yīng)的人眼可視的目標幀。
64.本技術(shù)提供的圖像處理方法，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進行圖像處理，從而生成每個曝光幀對應(yīng)的目標幀。本技術(shù)中，基于時分復(fù)用技術(shù)實現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時處理多個曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進行圖像處理的資源消耗。
65.上述實施例中，關(guān)于不同曝光幀的單行幀的生成，可結(jié)合圖2進一步理解，圖2本技術(shù)另一實施例的圖像處理方法的流程示意圖，如圖2所示，該方法包括：
66.s201，按序逐行獲取行交織信號中的每個單行信號，從每個單行信號的屬性信息中，確定每個單行信號的所屬曝光類型。
67.實現(xiàn)中，sensor會對拍攝對象采用的不同的曝光時間進行曝光，從而獲取到不同視覺效果的圖像。比如通過長曝光可以捕捉拍攝對象在時間流逝中的狀態(tài)變化等等。
68.進一步地，可以從行交織信號中的每個單行信號的屬性信息中讀取相關(guān)參數(shù)，并根據(jù)參數(shù)中的標識信息，從而確定所讀取的屬性信息所屬的單行信號對應(yīng)的曝光幀的曝光類型。
69.比如，設(shè)定長曝光、短曝光以及超短曝光等不同的曝光類型存在設(shè)定的曝光時間區(qū)間限定。
70.當(dāng)讀取到某一個單行信號的屬性信息中，其曝光時間落在短曝光對應(yīng)的曝光時間區(qū)間內(nèi)時，則可以判斷當(dāng)前讀取的屬性信息所屬的單行信號對應(yīng)的曝光類型為短曝光。
71.或者，當(dāng)讀取到某一行單行信號的屬性信息中，其曝光時間落在超短曝光幀對應(yīng)的曝光時間區(qū)間內(nèi)時，則可以判斷當(dāng)前讀取的屬性信息所屬的單行信號對應(yīng)的曝光類型為超短曝光。
72.進一步地，從行交織信號中逐行讀取每個單行信號的屬性信息，進而確定每個單行信號所屬的曝光類型。
73.s202，根據(jù)曝光類型，生成每個單行信號對應(yīng)的單行幀。
74.本技術(shù)實施例中，不同曝光幀的生成存在設(shè)定的位置，因此，提取到行交織信號中的每個單行信號后，需要對每個單行信號的曝光類型進行判斷，從而確定基于每個單行信號生成的單行幀的成像位置。
75.進一步地，確定每個單行信號所屬的曝光類型后，基于不同曝光類型的曝光幀的生成位置，生成每個單行信號對應(yīng)的單行幀。
76.本技術(shù)提供的圖像處理方法，根據(jù)行交織中的每個單行信號的屬性信息，確定每個單行信號所屬的曝光類型，進而生成對應(yīng)的單行幀。為后續(xù)基于單行幀的組合從而實現(xiàn)的曝光幀的組合提供了操作基礎(chǔ)。
77.進一步地，對不同曝光幀的單行幀進行組合生成待處理組合幀，可結(jié)合圖3理解，圖3為本技術(shù)另一實施例的圖像處理方法的流程示意圖，如圖3所示，該方法包括：
78.s301，對每個單行幀進行擴邊。
79.本技術(shù)實施例中，圖像處理器可以通過其中的濾波窗對待處理組合幀進行圖像處理，從而生成每個曝光幀對應(yīng)的目標幀。
80.進一步地，基于圖像處理器中的濾波窗的處理距離，確定每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域。
81.可選地，圖像處理器中的濾波窗存在設(shè)定尺寸，根據(jù)濾波窗進行圖像處理的位置，以及其設(shè)定尺寸可以確定濾波窗的處理距離。其中，濾波窗可以通過其中心位置的處理窗口對待處理組合幀進行圖像處理。
82.比如，設(shè)定濾波窗的尺寸為3
×
3大小，則濾波窗的處理距離為2個像素點。再比如，設(shè)定濾波窗的尺寸為5
×
5大小，則濾波窗的處理距離為3個像素點。
83.因此，為了使得待處理組合幀的每個像素點均可以被濾波窗正常處理，需要對每個曝光幀進行擴邊。進一步地，為了實現(xiàn)擴邊和組合的效率，可以對每個單行幀進行擴邊。
84.進一步地，可以根據(jù)濾波窗的處理距離分別確定單行幀的縱向方向和橫向方向上的擴邊區(qū)域。
85.可選地，基于處理距離與每個單行幀的高度，確定每個單行幀的縱向擴邊區(qū)域，其中，縱向擴邊區(qū)域與所屬的單行幀相鄰，且屬于同組的每個單行幀的縱向擴邊區(qū)域相鄰且不重疊。
86.本技術(shù)實施例中，每個單行幀的縱向擴邊區(qū)域均與所屬的單行幀相鄰，因此，可以基于濾波窗的處理距離和每個單行幀的高度，確定其對應(yīng)的縱向擴邊區(qū)域。
87.比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個像素點。如圖4所示，曝光幀i的單行幀n1和單行幀n2的尺寸為8個像素點
×
高度1個像素點，其中，單行幀n1為曝光幀i的首行幀，單行幀n2為曝光幀i的非首行幀。
88.則可以確定單行幀n1的縱向擴邊區(qū)域為單行幀n1兩側(cè)的分別為1個像素點對應(yīng)的區(qū)域a1和區(qū)域a1’。單行幀n2的縱向擴邊區(qū)域為單行幀n2兩側(cè)的分別為1個像素點對應(yīng)的區(qū)域b1和區(qū)域b1’。
89.再比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個像素點。如圖4所示，曝光幀ii的單行幀m1和單行幀m2的尺寸為8個像素點
×
高度1個像素點，其中，單行幀m1為曝光幀ii的首行幀，單行幀m2為曝光幀ii的非首行幀。
90.則可以確定單行幀m1的縱向擴邊區(qū)域為單行幀m1兩側(cè)的分別為1個像素點對應(yīng)的區(qū)域a2和區(qū)域a2’。單行幀m2的縱向擴邊區(qū)域為單行幀m2兩側(cè)的分別為1個像素點對應(yīng)的區(qū)域b2和區(qū)域b2’。
91.可選地，基于處理距離與每個單行幀的寬度，確定每個單行幀的橫向擴邊區(qū)域，其中，橫向擴邊區(qū)域與所屬的單行幀相鄰。
92.本技術(shù)實施例中，每個單行幀的橫向擴邊區(qū)域均與所屬的單行幀相鄰，因此，可以基于濾波窗的處理距離和每個單行幀的寬度，確定其對應(yīng)的橫向擴邊區(qū)域。
93.比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個像素點。如圖4所示，曝光幀i的單行幀n1、單行幀n2和單行幀nn的尺寸為8個像素點
×
高度1個像素點，其中，單行幀n1為曝光幀i的首行幀，單行幀n2為曝光幀i的非首行幀，單行幀nn為曝光幀i的尾行幀。
94.則可以確定單行幀n1的橫向擴邊區(qū)域為單行幀n1上側(cè)的10個像素點對應(yīng)的區(qū)域t1。單行幀nn的橫向擴邊區(qū)域為單行幀nn下側(cè)的10個像素點對應(yīng)的區(qū)域t1’。
95.由于單行幀n2上側(cè)拼接的是單行幀n1，下側(cè)拼接的是單行幀n3，因此，單行幀n2無需進行橫向方向的擴邊處理。
96.再比如，設(shè)定濾波窗的尺寸為3
×
3大小，濾波窗的處理距離為2個像素點。如圖4所示，曝光幀ii的單行幀m1、單行幀m2和單行幀mn的尺寸為8個像素點
×
高度1個像素點，其中，單行幀m1為曝光幀ii的首行幀，單行幀m2為曝光幀ii的非首行幀，單行幀mn為曝光幀ii的尾行幀。
97.則可以確定單行幀m1的橫向擴邊區(qū)域為單行幀m1上側(cè)的8個像素點對應(yīng)的區(qū)域t2。單行幀mn的橫向擴邊區(qū)域為單行幀mn下側(cè)的10個像素點對應(yīng)的區(qū)域t2’。
98.由于單行幀m2上側(cè)拼接的是單行幀m1，下側(cè)拼接的是單行幀m3，因此，單行幀m2無需進行橫向方向的擴邊處理。
99.需要說明的是，為了使得圖像處理器可以生成待處理組合幀中每個曝光幀對應(yīng)的單獨的目標幀，不同曝光幀之間的擴邊區(qū)域相鄰但不重疊，且每個擴邊區(qū)域與其所屬的單行幀相鄰。
100.如圖4所示，單行幀n1的縱向擴邊區(qū)域a1’與單行幀m1的縱向擴邊區(qū)域a2相鄰但不重疊，單行幀n2的縱向擴邊區(qū)域b1’與單行幀m2的縱向擴邊區(qū)域b2相鄰但不重疊。
101.曝光幀i中，縱向擴邊區(qū)域a1、a1’和橫向擴邊區(qū)域t1，與其所屬的單行幀n1相鄰?？v向擴邊區(qū)域b1、b1’與其所屬的單行幀n2相鄰。
102.曝光幀ii中，縱向擴邊區(qū)域a2、a2’和橫向擴邊區(qū)域t2，與其所屬的單行幀m1相鄰?？v向擴邊區(qū)域b2、b2’與其所屬的單行幀m2相鄰。
103.進一步地，根據(jù)縱向擴邊區(qū)域和橫向擴邊區(qū)域，生成每個單行幀的擴邊區(qū)域。
104.本技術(shù)實施例中，確定每個單行幀的橫向擴邊區(qū)域和縱向擴邊區(qū)域后，可以對兩個方向的擴邊區(qū)域進行整合，從而生成每個單行幀的擴邊區(qū)域。
105.進一步地，將縱向擴邊區(qū)域和橫向擴邊區(qū)域沿所屬的單行幀進行組合，生成每個單行幀的擴邊區(qū)域。
106.其中，每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域均與其所屬的單行幀相鄰，因此，可以沿著每個單行幀的邊界對橫向擴邊區(qū)域和縱向擴邊區(qū)域進行組合。
107.比如，如圖4所示，可以將曝光幀i的單行幀n1的縱向擴邊區(qū)域a1和a1’，以及橫向擴邊區(qū)域t1沿曝光幀i的邊界進行組合，進而生成單行幀的擴邊區(qū)域a1+t1+a1’。
108.再比如，如圖4所示，可以將曝光幀ii的單行幀m2的縱向擴邊區(qū)域b2和b2’進行組合，從而生成單行幀m2的擴邊區(qū)域b2+b2’。
109.實現(xiàn)中，濾波窗的處理范圍內(nèi)，每個位置都需要存在有效數(shù)據(jù)，因此，為了使得濾波窗可以對曝光幀進行有效的圖像處理，對于每個單行幀的擴邊區(qū)域需要進行數(shù)據(jù)填充。
110.進一步地，獲取擴邊區(qū)域的第一數(shù)據(jù)，并使用第一數(shù)據(jù)對擴邊區(qū)域進行填充，其中，第一數(shù)據(jù)為擴邊區(qū)域所屬的單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種。
111.本技術(shù)實施例中，為了不影響曝光幀的成像效果，可以選擇與每個單行幀存在相似關(guān)聯(lián)的數(shù)據(jù)，或者空白數(shù)據(jù)進行擴邊區(qū)域的填充，其中，可以將對擴邊區(qū)域進行填充的數(shù)據(jù)標識為擴邊區(qū)域的第一數(shù)據(jù)。
112.可選地，可以選擇復(fù)制每個單行幀對應(yīng)的字符串，并將復(fù)制后的字符串填充至對應(yīng)的擴邊區(qū)域，填充后的擴邊區(qū)域與其所屬的單行幀的內(nèi)容相同。
113.可選地，可以選擇對每個單行幀對應(yīng)的字符串進行鏡像處理，將鏡像處理后的字符串填充至對應(yīng)的擴邊區(qū)域，填充后的擴邊區(qū)域與其所屬的單行幀呈現(xiàn)鏡像的相反內(nèi)容。
114.可選地，可以選擇空白數(shù)據(jù)對每個單行幀的擴邊區(qū)域進行填充。
115.基于上述三種填充數(shù)據(jù)的選擇，濾波窗可以有效對擴邊區(qū)域進行識別，從而避免了對于曝光幀的成像效果的影響。
116.s302，將屬于同組的擴邊后的每個單行幀進行拼接，生成單行組合幀。
117.本技術(shù)實施例中，可以在單行幀的維度上實現(xiàn)拼接組合。其中，可以將屬于同一組的每個擴邊后的單行幀進行拼接組合，從而生成每一組的單行組合幀。
118.可選地，可以根據(jù)每個單行幀的坐標信息，對每個單行幀及與其屬于同組的單行
幀進行判斷。
119.進一步地，獲取單行幀的坐標信息。
120.實現(xiàn)中，可以從每個單行信號的屬性參數(shù)中讀取每個單行信號生成的單行幀對應(yīng)的生成坐標，包括單行幀上每個像素點的生成坐標，其中，每個像素點的坐標包括縱坐標和橫坐標。
121.進一步地，將坐標信息中縱坐標相同的單行幀，確定為屬于同組的單行幀，其中，屬于同組的單行幀包括至少一個單行幀。
122.實現(xiàn)中，可以通過縱坐標判斷單行幀與單行幀之間是否屬于同組關(guān)系。
123.可選地，如圖4所示，可以將屬于同組關(guān)系的若干單行幀理解為生成位置處于同一行的若干單行幀。
124.設(shè)定單行幀n4的首個像素點的坐標為(x2,y5)，單行幀m1的首個像素點的坐標為(x12,y5)，由二者的縱坐標可知，單行幀n4和單行幀m1為屬于同組關(guān)系。
125.則可以將擴邊后的單行幀n4和擴邊后的單行幀m1進行組合，從而生成對應(yīng)的單行組合幀。
126.進一步地，如圖4所示，擴邊后的單行幀n1屬于同組的為擴邊后的單行幀n1本身，因此，可以基于擴邊后的單行幀n1生成對應(yīng)的單行組合幀。同樣的，擴邊后的單行幀n2、n3均與擴邊后的單行幀n1狀況相同，因此，可以基于其自身分別生成對應(yīng)的單行組合幀。
127.擴邊后的單行幀n4屬于同組的為擴邊后的單行幀m1，因此，可以基于擴邊后的單行幀n4和擴邊后的單行幀m1生成對應(yīng)的單行組合幀。同樣的，擴邊后的單行幀m3、m4與擴邊后的單行幀m1，因此，可以分別基于與擴邊后的單行幀m3、m4屬于同組的每個擴邊后的單行幀，生成對應(yīng)的單行組合幀。
128.s303，將全部的單行組合幀進行組合，生成待處理組合幀。
129.實現(xiàn)中，圖像處理器可以基于不同曝光幀組合生成的待處理組合幀進行圖像處理。為了提高待處理組合幀的生成效率，可以針對屬于同組的每個單行幀進行組合，生成對應(yīng)的單行組合幀，并對單行組合幀進行組合，從而生成不同曝光幀對應(yīng)的待處理組合幀。
130.進一步地，根據(jù)每個單行組合幀生成時序，將每個單行組合幀進行拼接，并基于拼接后的全部單行組合幀，生成待處理組合幀。
131.本技術(shù)實施例中，不同的曝光類型的曝光幀的曝光時間不同，因此，行交織信號中對于不同曝光類型的曝光幀的單行信號的輸出存在時序。由此可知，基于行交織信號中的單行信號生成的不同曝光幀的單行幀同樣存在生成時序。
132.因此，可以基于每個單行組合幀內(nèi)的每個單行幀的生成時序，確定每個單行組合幀的生成時序?？梢詫γ總€單行組合幀內(nèi)的每個單行幀的時序進行組合，從而生成每個單行組合幀的組合時序。
133.進一步地，針對任兩組單行組合幀，當(dāng)其中一個單行組合幀內(nèi)的組合時序早于另一個單行組合幀時，則組合時序較晚的單行組合幀拼接于組合時序較早的單行組合幀之后。
134.可選地，可以在當(dāng)前組的單行幀生成之后，下一組單行幀生成之前，完成當(dāng)前組的單行幀的擴邊以及對應(yīng)的單行組合幀的組合操作，生成當(dāng)前組的單行幀對應(yīng)的單行組合幀。
135.進一步地，在當(dāng)前組的單行幀對應(yīng)的單行組合幀生成之后，再進行下一組的單行幀生成、擴邊和對應(yīng)的單行組合幀的組合操作，并順序?qū)⑾乱唤M的單行幀對應(yīng)的單行組合幀拼接至當(dāng)前組的單行幀對應(yīng)的單行組合幀之后。進一步地，實現(xiàn)全部的單行組合幀的順序拼接，進而生成待處理組合幀。
136.依然如圖4所示，在上述示例的基礎(chǔ)上，可以在基于擴邊后的單行幀n1生成對應(yīng)的單行組合幀后，順序拼接基于擴邊后的單行幀n2生成對應(yīng)的單行組合幀，后順序拼接基于擴邊后的單行幀n3生成對應(yīng)的單行組合幀，然后將基于擴邊后的單行幀n4和擴邊后的單行幀m1生成對應(yīng)的單行組合幀順序拼接于基于擴邊后的單行幀n3生成對應(yīng)的單行組合幀之后。
137.基于順序?qū)⑷康膯涡薪M合幀拼接完畢，從而生成如圖4所示的待處理組合幀。
138.本技術(shù)提供的圖像處理的方法，通過將每個單行幀進行擴邊，并將屬于同組的擴邊后的單行幀進行組合，從而生成對應(yīng)的單行組合幀。通過基于每個單行組合幀的生成時序?qū)θ康膯涡薪M合幀進行拼接，從而生成對應(yīng)的待處理組合幀。本技術(shù)中，為單行幀進行擴邊，并選擇相應(yīng)的數(shù)據(jù)對擴邊區(qū)域進行填充，保證了濾波窗可以對曝光幀實現(xiàn)正常的圖像處理，避免了對曝光幀的成像效果的影響?；趯儆谕M的擴邊后的單行幀生成的單行組合幀，實現(xiàn)待處理組合幀的生成，有效提高了待處理組合幀的生成效率，從而提高了圖像處理的效率。
139.進一步地，在對屬于同組的擴邊后的單行幀進行拼接時，可能存在空白區(qū)域，其中，對于空白區(qū)域的識別，以及在存在空白區(qū)域的場景中如何實現(xiàn)單行組合幀的拼接生成，可以結(jié)合圖5進一步理解，圖5為本技術(shù)另一實施例的圖像處理方法的流程示意圖，如圖5所示，該方法包括：
140.s501，確定屬于同組的單行幀數(shù)量的門限值，其中，門限值基于不同曝光幀的數(shù)量確定。
141.實現(xiàn)中，圖像處理器對于待處理組合幀中包括的曝光幀的數(shù)量存在限制，因此，在將同組的每個單行幀組合生成對應(yīng)的單行組合幀時，每組的單行幀的數(shù)量同樣存在限制。其中，可以將該數(shù)量限制確定為屬于同組的單行幀的數(shù)量的門限值。
142.比如，若行交織信號中傳輸了3個曝光幀的成像信號，則該場景下，屬于同組的單行幀的數(shù)量的門限值為3。再比如，若行交織信號中傳輸了5個曝光幀的成像信號，則該場景下，屬于同組的單行幀的數(shù)量的門限值為5。
143.再比如，如圖4所示，圖4中存在曝光幀i、曝光幀ii和曝光幀iii，則圖4中屬于同組的單行幀的數(shù)量的門限值為3。
144.s502，響應(yīng)于同組的擴邊后的單行幀的數(shù)量小于門限值，則將同組的單行幀的所屬成像覆蓋區(qū)域中，單行幀和對應(yīng)的擴邊區(qū)域未占用的區(qū)域，確定為空白區(qū)域。
145.實現(xiàn)中，屬于同組的單行幀的數(shù)量的門限值即為同組中的單行幀數(shù)量的上限值，因此，當(dāng)某一組中的單行幀數(shù)量與門限值相同時，可以判斷，在對該組中的單行幀進行擴邊并組合生成單行組合幀的過程中，不會存在空白區(qū)域。
146.可以理解為，當(dāng)屬于同組的單行幀的數(shù)量小于門限值時，該組中存在部分區(qū)域沒有覆蓋到單行幀，因此，在該場景中，屬于同組的單行幀在進行擴邊和組合生成單行組合幀的過程中，存在空白區(qū)域。
147.本技術(shù)實施例中，針對某一組的單行幀，可以將該組中的每個單行幀與其對應(yīng)的擴邊區(qū)域沒有占用的區(qū)域，確定為該組單行幀的空白區(qū)域。
148.可選地，可以根據(jù)單行幀的尺寸實現(xiàn)空白區(qū)域的計算。
149.實現(xiàn)中，sensor生成不同曝光幀的行交織信號時，每個曝光幀的寬度和高度已經(jīng)設(shè)定完成，并通過每個曝光幀對應(yīng)的單行信號的屬性信息體現(xiàn)。因此，可以通過不同曝光幀的寬度和高度、和不同曝光幀的擴邊區(qū)域的寬度和高度，確定生成的待處理組合幀的寬度和高度。
150.如圖4所示，將曝光幀i與其橫向擴邊區(qū)域的寬度、曝光幀ii與其橫向擴邊區(qū)域的寬度和曝光幀iii與其橫向擴邊區(qū)域的寬度進行加和計算，計算結(jié)果即為待處理組合幀的寬度。
151.需要說明的是，由于本技術(shù)實施例中，是在屬于同組的每個單行幀生成后，對改組內(nèi)的單行幀進行擴邊組合操作，因此，可以通過計算每組單行幀內(nèi)的空白區(qū)域，從而實現(xiàn)對于待處理組合幀中的空白區(qū)域的計算。
152.比如，針對曝光幀i的單行幀n1，可以將待處理組合幀的寬度與單行幀n1和其橫向擴邊區(qū)域的寬度相減求差，該差值即為單行幀n1對應(yīng)的空白區(qū)域的寬度。將單行幀n1的高度和其橫向擴邊區(qū)域t1的高度相加，即可獲取單行幀n1對應(yīng)的空白區(qū)域的高度。進一步地，基于獲取到的高度和寬度，即可生成單行幀n1對應(yīng)的空白區(qū)域x1。
153.進一步地，基于單行幀的生成時序，確定屬于同組的每組單行幀對應(yīng)的空白區(qū)域。
154.由于圖像處理器需要基于完成的圖像進行相關(guān)的處理操作，因此，對于空白區(qū)域需要進行數(shù)據(jù)填充。
155.進一步地，獲取空白區(qū)域的第二數(shù)據(jù)，并使用第二數(shù)據(jù)對空白區(qū)域進行填充，其中，第二數(shù)據(jù)為空白字符。
156.本技術(shù)實施例中，為了避免空白區(qū)域填充的數(shù)據(jù)對曝光幀的成像產(chǎn)生影響，可以通過空白數(shù)據(jù)對每組單行幀的空白區(qū)域進行數(shù)據(jù)填充。填充后的空白區(qū)域內(nèi)均為空白數(shù)據(jù)，圖像處理器可以實現(xiàn)該區(qū)域的有效識別，從而避免空白區(qū)域的數(shù)據(jù)對于圖像處理的效果的影響。
157.其中，可以將對空白區(qū)域進行填充的數(shù)據(jù)確定為空白區(qū)域的第二數(shù)據(jù)。
158.s503，將屬于同組的每個單行幀，和屬于同組的每個單行幀對應(yīng)的填充后的空白區(qū)域以及擴邊區(qū)域按序拼接，生成單行組合幀。
159.本技術(shù)實施例中，在存在空白區(qū)域的場景下，需要基于屬于同組的每個單行幀、每個單行幀填充后的擴邊區(qū)域以及每組單行幀填充后的空白區(qū)域，生成對應(yīng)的單行組合幀。
160.可選地，可以基于設(shè)定的順序，將屬于同組的每個單行幀、每個單行幀的擴邊區(qū)域和空白區(qū)域進行拼接。
161.如圖4所示，單行幀n5和單行幀m2為屬于同組的單行幀，且該組單行幀存在空白區(qū)域。因此，在進行空白區(qū)域的確定和數(shù)據(jù)填充后，可以基于如圖4中所示的順序，將擴邊區(qū)域e1、單行幀n5、擴邊區(qū)域e1’、擴邊區(qū)域b2、單行幀m2、擴邊區(qū)域b2’和空白區(qū)域x2進行拼接，從而生成屬于同組的單行幀n5和單行幀m2對應(yīng)的單行組合幀。
162.本技術(shù)提供的圖像處理方法，確定每組單行幀的空白區(qū)域后，使用空白數(shù)據(jù)對空白區(qū)域進行填充，并基于填充后的空白區(qū)域生成每組單行幀的單行組合幀。有效提高了待
處理組合幀生成的穩(wěn)定性，保證了待處理組合幀的可用性。
163.上述實施例中，關(guān)于待處理組合幀的處理，可結(jié)合圖6進一步理解，圖6為本技術(shù)另一實施例的圖像處理方法的流程示意圖，如圖6所示，該方法包括：
164.s601，將待處理組合幀中每個曝光幀的首行幀首位像素點的位置，確定為每個曝光幀的起始位置。
165.本技術(shù)實施例中，可以通過圖像處理器對待處理組合幀中的每一個曝光幀進行圖像處理，以生成對應(yīng)的目標幀。
166.其中，圖像處理器可以是isp，待處理組合幀通過某一個通路輸入isp，開始進行曝光幀的成像處理。
167.實現(xiàn)中，sensor對拍攝對象的曝光、以及后續(xù)曝光成像信號的傳輸、曝光幀的成像、圖像處理等等相關(guān)操作步驟，可以通過設(shè)定的驅(qū)動進行流程的控制。進一步地，當(dāng)sensor生成行交織信號并開始輸出時，圖像處理器可以通過設(shè)定的驅(qū)動獲取待處理組合幀中，每個曝光幀的位置信息，即每個曝光幀中的每個像素點的位置信息。
168.進一步地，可以將每個曝光幀的首行幀的首位像素點的位置信息，確定為每個曝光幀的起始位置，基于每個曝光幀的起始位置對其進行圖像處理。
169.比如，如圖4所示，設(shè)定曝光幀ii的曝光類型為短曝光，曝光幀iii的曝光類型為超短曝光。則isp基于曝光幀ii的起始位置，開始基于對應(yīng)的匹配參數(shù)對曝光幀ii進行圖像處理，當(dāng)曝光幀ii處理結(jié)束后，再基于曝光幀iii的起始位置開始對曝光幀iii進行圖像處理。
170.s602，從每個曝光幀的起始位置開始，使用起始位置對應(yīng)的曝光幀的匹配參數(shù)進行圖像處理，并在下一個曝光幀的起始位置，將匹配參數(shù)變更為下一個曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對下一個曝光幀進行圖像處理，直至每個曝光幀處理完畢，生成每個曝光幀對應(yīng)的目標幀。
171.為了使得待處理組合幀中的每個曝光幀可以基于圖像處理器分別獲取單獨的人眼可視的目標幀，圖像處理器在進行圖像處理器時，需要以每個曝光幀為單位逐個處理。
172.進一步地，可以從每個曝光幀的起始位置開始，使用對應(yīng)的匹配參數(shù)進行圖像處理。
173.實現(xiàn)中，圖像處理器對不同曝光類型的曝光幀進行圖像處理時，其所需匹配參數(shù)存在不同，因此，需要圖像處理器根據(jù)不同的曝光幀的曝光類型，對匹配參數(shù)進行調(diào)整，從而使得圖像處理器可以適應(yīng)對不同曝光類型的曝光幀的圖像處理。
174.可選地，圖像處理器可以對其進行圖像處理的匹配參數(shù)實現(xiàn)動態(tài)的調(diào)整，可以理解為，圖像處理器對待處理組合幀中的某一個曝光幀處理完畢后，下一個曝光幀開始處理之前，會對下一個待處理的曝光幀的曝光類型進行判斷，并根據(jù)判斷的結(jié)果調(diào)整當(dāng)前圖像處理器的各項匹配參數(shù)，從而使得調(diào)整后的匹配參數(shù)可以對下一個曝光幀實現(xiàn)圖像處理。
175.進一步地，可以基于每個曝光幀的起始位置，使用相應(yīng)的匹配參數(shù)對其進行圖像處理，并基于每個曝光幀的尾行幀的末位像素點的位置，開始對圖像處理器的匹配參數(shù)進行調(diào)整。
176.可以理解為，圖像處理器中的濾波窗在進行圖像處理時，可以同時獲取當(dāng)前正在處理的曝光幀中的像素點的位置信息，當(dāng)獲取到的位置信息為某個曝光幀的首行幀的首位像素點的位置信息時，則可以開始對該曝光幀進行圖像處理，當(dāng)獲取到該曝光幀的尾行幀
的末位像素點的位置信息時，則可以判斷該曝光幀已經(jīng)處理完畢。
177.比如，如圖4所示，設(shè)定曝光幀ii的曝光類型為短曝光，曝光幀iii的曝光類型為超短曝光。則isp基于曝光幀ii的起始位置，開始基于對應(yīng)的匹配參數(shù)對曝光幀ii進行圖像處理，當(dāng)處理到曝光幀ii的尾行幀的末位像素點時，則可以判斷處理曝光幀ii處理結(jié)束。
178.在曝光幀ii處理結(jié)束后，開始獲取曝光幀iii的曝光類型，并將當(dāng)前可以處理短曝光類型的曝光幀的匹配參數(shù)調(diào)整成，可以處理超短曝光類型的曝光幀的匹配參數(shù)，再基于曝光幀iii的起始位置開始對曝光幀iii進行圖像處理。
179.進一步地，完成待處理組合幀中的每個曝光幀的圖像處理，從而單獨生成每個曝光幀對應(yīng)的目標幀。
180.本技術(shù)提供的圖像處理方法，圖像處理器通過某個通路獲取待處理組合幀，并對其中的每個曝光幀逐個進行圖像處理，并根據(jù)不同的曝光幀所屬的不同的曝光類型實現(xiàn)匹配參數(shù)的動態(tài)調(diào)整，從而生成待處理組合幀中每個曝光幀對應(yīng)的目標幀。本技術(shù)中，通過匹配參數(shù)的動態(tài)調(diào)整，實現(xiàn)了不同曝光類型的曝光幀組合生成的待處理組合幀的圖像處理，有效減少了圖像處理器的通路的占用，節(jié)約了資源消耗。
181.與上述幾種實施例提供的圖像處理方法相對應(yīng)，本技術(shù)的一個實施例還提供了一種圖像處理裝置，由于本技術(shù)實施例提供的圖像處理裝置與上述幾種實施例提供的圖像處理方法相對應(yīng)，因此上述圖像處理方法的實施方式也適用于本技術(shù)實施例提供的圖像處理裝置，在下述實施例中不再詳細描述。
182.圖7為本技術(shù)一實施例的圖像處理裝置的結(jié)構(gòu)示意圖，如圖7所示，圖像處理裝置700，包括提取生成模塊71、組合模塊72、成像模塊73，其中：
183.提取生成模塊71，用于獲取行交織信號，并根據(jù)行交織信號的行信號逐行曝光，生成不同曝光幀各自的單行幀；
184.組合模塊72，用于將不同曝光幀的全部單行幀進行組合，生成待處理組合幀；
185.成像模塊73，用于對待處理組合幀進行圖像處理，生成每個曝光幀對應(yīng)的目標幀。
186.圖8為本技術(shù)另一實施例的圖像處理裝置的結(jié)構(gòu)示意圖，如圖8所示，圖像處理裝置800，包括提取生成模塊81、組合模塊82、成像模塊83，其中：
187.需要說明的是，提取生成模塊71、組合模塊72、成像模塊73，與提取生成模塊81、組合模塊82、成像模塊83，具備相同的結(jié)構(gòu)和功能。
188.本技術(shù)實施例中，提取生成模塊81，還用于：按序逐行獲取行交織信號中的每個單行信號，從每個單行信號的屬性信息中，確定每個單行信號的所屬曝光類型；根據(jù)曝光類型，生成每個單行信號對應(yīng)的單行幀。
189.本技術(shù)實施例中，組合模塊82，還用于：對每個單行幀進行擴邊；將屬于同組的擴邊后的每個單行幀進行拼接，生成單行組合幀；將全部的單行組合幀進行組合，生成待處理組合幀。
190.本技術(shù)實施例中，組合模塊82，還用于：基于圖像處理器中的濾波窗的處理距離，確定每個單行幀的縱向擴邊區(qū)域和橫向擴邊區(qū)域；根據(jù)縱向擴邊區(qū)域和橫向擴邊區(qū)域，生成每個單行幀的擴邊區(qū)域。
191.本技術(shù)實施例中，組合模塊82，還用于：基于處理距離與每個單行幀的高度，確定每個單行幀的縱向擴邊區(qū)域，其中，縱向擴邊區(qū)域與所屬的單行幀相鄰，且屬于同組的每個
單行幀的縱向擴邊區(qū)域相鄰且不重疊；基于處理距離與每個單行幀的寬度，確定每個單行幀的橫向擴邊區(qū)域，其中，橫向擴邊區(qū)域與所屬的單行幀相鄰；將縱向擴邊區(qū)域和橫向擴邊區(qū)域沿所屬的單行幀進行組合，生成每個單行幀的擴邊區(qū)域。
192.本技術(shù)實施例中，確定組合模塊82，還用于：獲取單行幀的坐標信息；將坐標信息中縱坐標相同的單行幀，確定為屬于同組的單行幀，其中，屬于同組的單行幀包括至少一個單行幀。
193.本技術(shù)實施例中，組合模塊82，還用于：確定屬于同組的單行幀數(shù)量的門限值，其中，門限值基于不同曝光幀的數(shù)量確定；響應(yīng)于同組的擴邊后的單行幀的數(shù)量小于門限值，則將同組的單行幀的所屬成像覆蓋區(qū)域中，單行幀和對應(yīng)的擴邊區(qū)域未占用的區(qū)域，確定為空白區(qū)域。
194.本技術(shù)實施例中，組合模塊82，還用于：獲取擴邊區(qū)域的第一數(shù)據(jù)，并使用第一數(shù)據(jù)對擴邊區(qū)域進行填充，其中，第一數(shù)據(jù)為擴邊區(qū)域所屬的單行幀對應(yīng)的復(fù)制字符串、鏡像字符串和空白字符串中的任意一種；獲取空白區(qū)域的第二數(shù)據(jù)，并使用第二數(shù)據(jù)對空白區(qū)域進行填充，其中，第二數(shù)據(jù)為空白字符；將屬于同組的每個單行幀，和屬于同組的每個單行幀對應(yīng)的填充后的空白區(qū)域以及擴邊區(qū)域按序拼接，生成單行組合幀。
195.本技術(shù)實施例中，組合模塊82，還用于：根據(jù)每個單行組合幀生成時序，將每個單行組合幀進行拼接，并基于拼接后的全部單行組合幀，生成待處理組合幀。
196.本技術(shù)實施例中，成像模塊83，還用于：將待處理組合幀中每個曝光幀的首行幀首位像素點的位置，確定為每個曝光幀的起始位置；從每個曝光幀的起始位置開始，使用起始位置對應(yīng)的曝光幀的匹配參數(shù)進行圖像處理，并在下一個曝光幀的起始位置，將匹配參數(shù)變更為下一個曝光幀的匹配參數(shù)，并基于變更后的匹配參數(shù)對下一個曝光幀進行圖像處理，直至每個曝光幀處理完畢，生成每個曝光幀對應(yīng)的目標幀。
197.本技術(shù)提供的圖像處理裝置，逐行根據(jù)行交織信號中的行信號，生成不同曝光幀的單行幀，并對不同曝光幀的單行幀進行組合，從而獲取對應(yīng)的待處理組合幀。對待處理組合幀進行圖像處理，從而生成每個曝光幀對應(yīng)的目標幀。本技術(shù)中，基于時分復(fù)用技術(shù)實現(xiàn)了行交織信號的生成和提取，通過對不同曝光幀的組合處理，使得圖像處理器可以同時處理多個曝光幀，有效減少了圖像處理器的通路占用，節(jié)約了對曝光幀進行圖像處理的資源消耗。
198.為達到上述實施例，本技術(shù)還提供了一種電子設(shè)備、一種計算機可讀存儲介質(zhì)和一種計算機程序產(chǎn)品。
199.圖9為本技術(shù)一實施例的電子設(shè)備的框圖，根據(jù)如圖9所示的電子設(shè)備可以實現(xiàn)執(zhí)行圖1至圖6的實施例的圖像處理方法。
200.為了實現(xiàn)上述實施例，本技術(shù)還提供一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，計算機指令用于使計算機執(zhí)行圖1至圖6的實施例的圖像處理方法。
201.為了實現(xiàn)上述實施例，本技術(shù)還提供一種計算機程序產(chǎn)品，當(dāng)計算機程序產(chǎn)品中的指令處理器執(zhí)行時，執(zhí)行圖1至圖6的實施例的圖像處理方法。
202.在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本技術(shù)的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不
必須針對的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結(jié)合和組合。
203.此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個該特征。在本技術(shù)的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。
204.流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)定制邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本技術(shù)的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本技術(shù)的實施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
205.在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實現(xiàn)在任何計算機可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計算機的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，"計算機可讀介質(zhì)"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計算機可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(cdrom)。另外，計算機可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因為可以例如通過對紙或其他介質(zhì)進行光學(xué)掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。
206.應(yīng)當(dāng)理解，本技術(shù)的各部分可以用硬件、軟件、固件或它們的組合來實現(xiàn)。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現(xiàn)。如，如果用硬件來實現(xiàn)和在另一實施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項或他們的組合來實現(xiàn)：具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現(xiàn)場可編程門陣列(fpga)等。
207.本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實現(xiàn)上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，該程序在執(zhí)行時，包括方法實施例的步驟之一或其組合。
208.此外，在本技術(shù)各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中。
209.上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。盡管上面已經(jīng)示出和描述了本技術(shù)的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本技術(shù)的限制，本領(lǐng)域的普通技術(shù)人員在本技術(shù)的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。