視頻穩(wěn)像方法、裝置及攝像終端與流程
本發(fā)明涉及圖像處理技術領域，尤其涉及一種視頻穩(wěn)像方法、裝置及攝像終端。
背景技術：
當今社會，視頻文件隨處可見，隨處可拍。在拍照或者拍攝視頻的過程中，由于拍攝者手的抖動，使得攝像機會產(chǎn)生一定的隨機抖動。由此，造成視頻的各幀圖像之間出現(xiàn)不規(guī)則的移動，導致視頻圖像出現(xiàn)失真，畫面質量差而對于智能視頻分析算法來說，視頻畫面的抖動，會造成分析結果產(chǎn)生較大的偏差。因此，有必要采取一定的技術對視頻文件進行“維穩(wěn)”。視頻穩(wěn)像(也稱之為電子穩(wěn)像)是對隨機抖動或隨機運動的攝像機所獲取的動態(tài)圖像序列進行重新修改，排列，使其在顯示器上更加平穩(wěn)地顯示的技術?？梢韵驕p弱圖像序列之間的不規(guī)則的平移、旋轉、縮放等失真情況，改善了畫面的質量，從而使得畫面更加適合于智能視頻分析中的目標檢測、跟蹤和識別等處理操作。
現(xiàn)有技術中，為了達到圖像內容對齊、減少視頻抖動的目的，通常需要對圖像進行某種矩陣變換。通過變換矩陣將一幅圖像向另一幅圖像對齊，兩幅圖像之間會發(fā)生平移、旋轉、透視等變換。例如，在視頻穩(wěn)像操作中，通過計算出每幀圖像的校正矩陣(例如，透視變換)，然后對該幀圖像進行相應的矩陣變換以達到視頻穩(wěn)像的目的。基于圖像內容的防抖方法不依賴手機的其他硬件設備，較易實現(xiàn)。最早期的穩(wěn)像技術，多采用機械式來進行操作。采用陀螺傳感器和伺服系統(tǒng)構成穩(wěn)定平臺來進行補償基座上的攝像系統(tǒng)的相對運動來實現(xiàn)穩(wěn)像。利用光學系統(tǒng)中的部分元件的補償運動來實現(xiàn)圖像的穩(wěn)定，以及基于陀螺儀的防抖方法根據(jù)陀螺儀傳感器三軸的旋轉角度判斷相機的旋轉角度，該方法不需要進行大量的計算。
但是，基于圖像內容的防抖方法對圖像場景有較強的依賴性，當場景過曝、欠曝、內容單一、運動目標在場景中占據(jù)較大比例時，都會影響其變換 矩陣的計算，進而影響穩(wěn)像的性能；基于陀螺儀的防抖方法需要陀螺儀數(shù)據(jù)與視頻幀數(shù)據(jù)精確匹配，對陀螺儀的穩(wěn)定性能及系統(tǒng)的性能都有較高的要求。一旦陀螺儀數(shù)據(jù)出現(xiàn)錯誤，就會導致穩(wěn)像結果錯誤。
技術實現(xiàn)要素：
本發(fā)明解決的技術問題是如何提高視頻穩(wěn)像的準確性。
為解決上述技術問題，本發(fā)明實施例提供一種視頻穩(wěn)像方法，用于攝像終端，所述攝像終端包括陀螺儀；所述視頻穩(wěn)像方法包括：在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像；當所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點；基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣，所述前幀圖像為所述當前幀圖像的上一幀圖像；根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。
可選的，基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣包括：所述特征點的數(shù)量達到設定值時，采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣；否則，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及所述前幀圖像對應的所述陀螺儀數(shù)據(jù)計算第二相鄰變換矩陣；所述相鄰變換矩陣為所述第一相鄰變換矩陣或所述第二相鄰變換矩陣。
可選的，所述特征點的數(shù)量達到所述設定值時，視頻穩(wěn)像方法還包括：根據(jù)所述第一相鄰變換矩陣對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整。
可選的，根據(jù)所述第一相鄰變換矩陣對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整包括：以所述當前幀圖像的當前幀時間為基準，利用在所述當前幀時間的預設延遲時間范圍內的所述陀螺儀數(shù)據(jù)，迭代 計算所述第二相鄰變換矩陣，直至所述第二相鄰變換矩陣與所述第一相鄰變換矩陣的差值最小，確定校正陀螺儀數(shù)據(jù)；計算所述校正陀螺儀數(shù)據(jù)對應的時間與所述當前幀時間的差值，并更新為所述陀螺儀數(shù)據(jù)與所述當前幀圖像的延遲時間。
可選的，所述特征點的數(shù)量達到設定值時，采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣包括：將所述當前幀圖像的特征點與所述前幀圖像的特征點進行匹配；按照匹配后所述特征點坐標的關系計算所述第一相鄰變換矩陣。
可選的，計算所述第二相鄰變換矩陣的公式為：
可選的，所述視頻穩(wěn)像方法還包括：當所述陀螺儀數(shù)據(jù)表明所述攝像終端未抖動時，所述相鄰變換矩陣為單位陣。
為解決上述技術問題，本發(fā)明實施例還公開了一種視頻穩(wěn)像裝置，視頻穩(wěn)像裝置用于攝像終端，所述攝像終端包括陀螺儀，視頻穩(wěn)像裝置包括：采集單元，適于在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像；提取單元，適于在所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點；計算單元，適于基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣，所述前幀圖像為所述當前幀圖像的上一幀圖像；轉換單元，適于根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。
可選的，所述計算單元包括：第一計算子單元，適于在所述特征點的數(shù)量達到設定值時，采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣，所述相鄰變換矩陣為所述第一相鄰變換矩陣；第二計算子單元，適于在所述特征點的數(shù)量未達到設定值時，采用所述當前 幀圖像對應的所述陀螺儀數(shù)據(jù)以及所述前幀圖像對應的所述陀螺儀數(shù)據(jù)計算第二相鄰變換矩陣，所述相鄰變換矩陣為所述第二相鄰變換矩陣。
可選的，所述視頻穩(wěn)像裝置還包括：調整單元，適于在所述特征點的數(shù)量達到設定值時，根據(jù)所述第一相鄰變換矩陣對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整。
可選的，所述調整單元包括：確定子單元，適于以所述當前幀圖像的當前幀時間為基準，利用在所述當前幀時間的預設延遲時間范圍內的所述陀螺儀數(shù)據(jù)，迭代計算所述第二相鄰變換矩陣，直至所述第二相鄰變換矩陣與所述第一相鄰變換矩陣的差值最小，確定校正陀螺儀數(shù)據(jù)；更新子單元，適于計算所述校正陀螺儀數(shù)據(jù)對應的時間與所述當前幀時間的差值，并更新為所述陀螺儀數(shù)據(jù)與所述當前幀圖像的延遲時間。
可選的，所述第一轉換子單元包括：匹配子單元，適于將所述當前幀圖像的特征點與所述前幀圖像的特征點進行匹配；矩陣計算子單元，適于按照匹配后所述特征點坐標的關系計算所述第一相鄰變換矩陣。
可選的，計算所述第二相鄰變換矩陣的公式為：
可選的，所述視頻穩(wěn)像裝置還包括：當所述陀螺儀數(shù)據(jù)表明所述攝像終端未抖動時，所述相鄰變換矩陣為單位陣。
為解決上述技術問題，本發(fā)明實施例還公開了一種攝像終端，終端包括陀螺儀，終端還包括所述視頻穩(wěn)像裝置。
與現(xiàn)有技術相比，本發(fā)明實施例的技術方案具有以下有益效果：
本發(fā)明通過在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像；當所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點，根據(jù)陀螺儀數(shù)據(jù)確定攝像終端的運動情況；基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐 標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣，所述前幀圖像為所述當前幀圖像的上一幀圖像；根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。通過在基于視頻幀圖像特征點計算相鄰變換矩陣的同時，結合陀螺儀數(shù)據(jù)計算相鄰變換矩陣，并基于當前幀圖像的特征點的數(shù)量選擇至少一種上述計算方式，提高了視頻穩(wěn)像的準確性以及視頻穩(wěn)像的效果。
進一步，所述特征點的數(shù)量達到所述設定值時，根據(jù)所述第一相鄰變換矩陣對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整，利用第一相鄰變換矩陣對陀螺儀數(shù)據(jù)的時間進行校正，確保了陀螺儀數(shù)據(jù)的穩(wěn)定性，進一步提高了視頻穩(wěn)像的準確性。
附圖說明
圖1是本發(fā)明實施例一種視頻穩(wěn)像方法的流程圖；
圖2是本發(fā)明實施例另一種視頻穩(wěn)像方法的流程圖；
圖3是本發(fā)明實施例一種視頻穩(wěn)像裝置的結構示意圖；
圖4是本發(fā)明實施例另一種視頻穩(wěn)像裝置的結構示意圖。
具體實施方式
如背景技術中所述，基于圖像內容的防抖方法對圖像場景有較強的依賴性，當場景過曝、欠曝、內容單一、運動目標在場景中占據(jù)較大比例時，都會影響其變換矩陣的計算，進而影響穩(wěn)像的性能；基于陀螺儀的防抖方法需要陀螺儀數(shù)據(jù)與視頻幀數(shù)據(jù)精確匹配，對陀螺儀的穩(wěn)定性能及系統(tǒng)的性能都有較高的要求。一旦陀螺儀數(shù)據(jù)出現(xiàn)錯誤，就會導致穩(wěn)像結果錯誤。
本發(fā)明實施例根據(jù)陀螺儀數(shù)據(jù)確定當前攝像終端的運動情況，判定當前幀圖像的特征點的數(shù)量，選擇基于視頻幀圖像特征點計算相鄰變換矩陣或陀螺儀數(shù)據(jù)計算相鄰變換矩陣，對基于視頻幀圖像特征點坐標不能處理的情況進行輔助處理，克服了基于特征點的穩(wěn)像處理中對場景內容依賴程度高的缺點。同時，通過利用特征點計算出的相鄰變換矩陣對陀螺儀數(shù)據(jù)進行校正，保證了陀螺儀數(shù)據(jù)的準確性，從而達到了相對于現(xiàn)有技術較好的視頻穩(wěn)像效果。
本發(fā)明實施例所稱視頻表示包括多幀或多張圖像，多幀或多張圖像可以在時間或內容上相互關聯(lián)，例如在時間上順序排布。
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂，下面結合附圖對本發(fā)明的具體實施例做詳細的說明。
圖1是本發(fā)明實施例一種視頻穩(wěn)像方法的流程圖。下面結合圖1對本發(fā)明實施例的所述視頻穩(wěn)像方法做詳細的說明。
本發(fā)明實施例的視頻穩(wěn)像方法用于攝像終端，所述攝像終端包括陀螺儀，陀螺儀是角速度傳感器的一種，可以用于測量的物理量是終端偏轉、傾斜時的轉動角速度，也就是說，陀螺儀輸出的陀螺儀數(shù)據(jù)可以表示攝像終端的運動信息。
步驟s101：在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)。其中，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像。
本實施例中，所述陀螺儀數(shù)據(jù)與各幀圖像在時間上相對應，陀螺儀數(shù)據(jù)的時間與各幀圖像的時間可以相同，也可以不同。
可以理解的是，可以在拍攝圖像的同時一并獲取所述陀螺儀數(shù)據(jù)，也可以在圖像拍攝完成后獲取所述陀螺儀數(shù)據(jù)。所述陀螺儀數(shù)據(jù)可以是終端轉動時的角速度，也可以是終端轉動時的角度信息。
步驟s102：當所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點。
本實施例中，陀螺儀數(shù)據(jù)表明所述攝像終端的運動信息為抖動時，提取當前幀圖像的特征點。也就是說，在攝像終端抖動時，當前幀圖像與相鄰幀圖像之間發(fā)生不規(guī)則的平移，故提取當前幀圖像的特征點，以便進行后續(xù)處理。
具體實施中，提取當前幀圖像的特征點可以包括：通過分析當前幀圖像，將當前幀圖像進行區(qū)域分割；在分割得到的每個區(qū)域內提取圖像中具有代表性的特征像素點，作為特征點。例如，可以采用尺度不變特征轉換(scale-invariantfeaturetransform,sift)，偵測當前幀圖像中的局部性特征， 在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量；或者采用加速魯棒性(speeduprobustfeature,surf)算法，對當前幀圖像卷積或基于海賽矩陣(hessian)，提取當前幀圖像的特征點。
可以理解的是，提取圖像特征點的方式可以采用任意可實施的算法，本發(fā)明實施例對此不做限制。
具體實施中，當所述陀螺儀數(shù)據(jù)表明所述攝像終端未抖動時，所述相鄰變換矩陣為單位陣。也就是說，利用單位陣對前一幀圖像進行變換(例如，將二者相乘)，從而得到當前幀圖像，由于變換矩陣為單位陣，因此當前幀圖像與前一幀圖像相同，也即保持不變。
步驟s103：基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣，所述前幀圖像為所述當前幀圖像的上一幀圖像。
具體實施中，經(jīng)步驟s102，得到當前幀圖像的特征點的位置信息和數(shù)量信息，其中，特征點的位置信息可以用特征點坐標表示。所述特征點的數(shù)量達到設定值時，采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣，所述相鄰變換矩陣為所述第一相鄰變換矩陣；否則，所述特征點的數(shù)量未達到設定值時，也就是說，當前幀圖像的內容單一，例如，處于過曝或欠曝的狀態(tài)；此時，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及所述前幀圖像對應的所述陀螺儀數(shù)據(jù)計算第二相鄰變換矩陣；所述相鄰變換矩陣為所述第二相鄰變換矩陣。
例如，所述設定值可以采用如下方式設定：將當前幀圖像劃分為3x3的九宮格區(qū)域，當每個九宮格區(qū)域內特征點的數(shù)量少于預設閾值(例如10個)，則記為無效區(qū)域；九宮格區(qū)域包括的無效區(qū)域超過預設上限(例如3個)時，則視為當前幀圖像的內容單一，也就是特征點的數(shù)量未達到設定值。
可以理解的是，所述設定值、預設閾值及預設上限可以根據(jù)實際的應用環(huán)境進行適應性的調整，本發(fā)明實施例對此不做限制。
具體實施中，所述特征點的數(shù)量達到設定值時，將所述當前幀圖像的特 征點與所述前幀圖像的特征點進行匹配；按照匹配后所述特征點坐標的關系計算所述第一相鄰變換矩陣。
具體實施中，陀螺儀數(shù)據(jù)中包含的角速度包括在x軸、y軸和z軸方向的分量。所述特征點的數(shù)量未達到設定值時，計算所述第二相鄰變換矩陣的公式為：
需要說明的是，相鄰變換矩陣為所述當前幀圖像和與其相鄰的所述前幀圖像之間的變換矩陣，也可以是當前幀圖像和與其相鄰的后一幀圖像之間的變換矩陣。
步驟s104：根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。
本實施例中，經(jīng)步驟s103，得到當前幀圖像和與其相鄰的所述前幀圖像之間的相鄰變換矩陣?；谙噜徸儞Q矩陣對所述當前幀圖像進行轉換和校正，從而達到穩(wěn)像的效果。
具體實施中，視頻可以包括多幀圖像，故周期性執(zhí)行所述視頻穩(wěn)像方法的上述步驟，得到對應多幀圖像的多個相鄰變換矩陣。利用多個相鄰變換矩陣對視頻進行校正，得到穩(wěn)像后的視頻。具體地，對于當前幀圖像之前的多個相鄰變換矩陣，將其累積相乘后得到觀測累積變換矩陣，對觀測累積變換矩陣進行濾波平滑處理，得到意向累積變換矩陣，采用上述觀測累積變換矩陣和意向累積變換矩陣對當前幀圖像進行轉換，得到穩(wěn)像后的當前幀圖像。通過對視頻的各幀圖像進行上述步驟，實現(xiàn)了對視頻的穩(wěn)像處理，提高了視頻穩(wěn)像的準確性以及視頻穩(wěn)像的效果。
例如，對于第n幀圖像xn，其與多個相鄰變換矩陣進行轉換的公式為：
本發(fā)明實施例根據(jù)陀螺儀數(shù)據(jù)確定當前攝像終端的運動情況，判定當前幀圖像的特征點的數(shù)量，選擇基于視頻幀圖像特征點計算相鄰變換矩陣或陀螺儀數(shù)據(jù)計算相鄰變換矩陣，對基于視頻幀圖像特征點坐標不能處理的情況進行輔助處理，克服了基于特征點的穩(wěn)像處理中對場景內容依賴程度高的缺點，達到了相對于現(xiàn)有技術較好的視頻穩(wěn)像效果。
圖2是本發(fā)明實施例另一種視頻穩(wěn)像方法的流程圖。下面結合圖2對本發(fā)明實施例的所述視頻穩(wěn)像方法做詳細的說明。
步驟s201：在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)。
步驟s202：判斷陀螺儀數(shù)據(jù)是否表明攝像終端抖動，如果是，進入步驟s203，否則，進入步驟s204。
步驟s203：提取當前幀圖像的特征點。
步驟s204：相鄰變換矩陣為單位陣。
具體實施中，陀螺儀數(shù)據(jù)表明所述攝像終端的運動信息為抖動時，提取當前幀圖像的特征點。也就是說，在攝像終端抖動時，當前幀圖像與相鄰幀圖像之間發(fā)生不規(guī)則的平移，故提取當前幀圖像的特征點，以便進行后續(xù)處理。否則，當所述陀螺儀數(shù)據(jù)表明所述攝像終端未抖動時，所述相鄰變換矩陣為單位陣。也就是說，將當前幀圖像與其前一幀圖像之間的變換為單位變換。
步驟s205：判斷特征點的數(shù)量是達到設定值，如果是，進入步驟s206，否則，進入步驟s207。
步驟s206：采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣。
具體實施中，所述特征點的數(shù)量達到設定值時，將所述當前幀圖像的特征點與所述前幀圖像的特征點進行匹配；按照匹配后所述特征點坐標的關系 計算所述第一相鄰變換矩陣。
步驟s207：采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及所述前幀圖像對應的所述陀螺儀數(shù)據(jù)計算第二相鄰變換矩陣。
具體實施中，所述特征點的數(shù)量未達到設定值時，計算所述第二相鄰變換矩陣的公式為：
步驟s208：根據(jù)所述第一相鄰變換矩陣對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整。
具體實施中，陀螺儀數(shù)據(jù)時間與當前幀圖像的當前幀時間可以相同，也可以不同。例如，當陀螺儀數(shù)據(jù)為角速度時，理想情況下，角速度時間與當前幀圖像時間t一致，也就是說，角速度ω(t+td)對應的角速度時間t+td中，延遲時間td的值為0。但是，由于外部環(huán)境的影響，例如可以是終端內部軟件響應的延時，導致延遲時間td的值通常不為0，且延遲時間td的值通常會實時變化，導致陀螺儀數(shù)據(jù)的穩(wěn)定性差。由此，可以對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整，也就是說，對延遲時間td的值進行校正。
具體實施中，以所述當前幀圖像的當前幀時間為基準，利用在所述當前幀時間的預設延遲時間范圍內的所述陀螺儀數(shù)據(jù)，迭代計算所述第二相鄰變換矩陣，直至所述第二相鄰變換矩陣與所述第一相鄰變換矩陣的差值最小，確定校正陀螺儀數(shù)據(jù)；計算所述校正陀螺儀數(shù)據(jù)對應的時間與所述當前幀時間的差值，并更新為所述陀螺儀數(shù)據(jù)與所述當前幀圖像的延遲時間。
例如，以當前幀時間t為基準，在當前幀時間的預設延遲時間范圍(-5ms～5ms)內，對應的角速度范圍為(ω(t-5ms)～ω(t+5ms))，將此范圍內的角速度代入公式
具體地，每次計算第一相鄰變換矩陣后，對所述陀螺儀數(shù)據(jù)與所述當前幀圖像在時間上的對應關系進行調整和校正，直至下一次計算第一相鄰變換矩陣。
可以理解的是，所述預設延遲時間范圍可以根據(jù)實際應用環(huán)境進行適應性的調整，本發(fā)明實施例對此不做限制。
本發(fā)明實施例通過利用特征點計算出的相鄰變換矩陣，對陀螺儀數(shù)據(jù)進行校正，保證了陀螺儀數(shù)據(jù)的準確性，從而達到了相對于現(xiàn)有技術較好的視頻穩(wěn)像效果。
步驟s209：根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。
具體實施中，視頻包括多幀圖像，故周期性執(zhí)行所述視頻穩(wěn)像方法的上述步驟，得到對應多幀圖像的多個相鄰變換矩陣。利用多個相鄰變換矩陣對視頻進行校正，得到穩(wěn)像后的視頻。具體地，對于當前幀圖像之前的多個相鄰變換矩陣，將其累積相乘后得到觀測累積變換矩陣，對觀測累積變換矩陣進行濾波平滑處理，得到意向累積變換矩陣，采用上述觀測累積變換矩陣和意向累積變換矩陣對當前幀圖像進行轉換，得到穩(wěn)像后的當前幀圖像。通過對視頻的各幀圖像進行上述步驟，實現(xiàn)了對視頻的穩(wěn)像處理，提高了視頻穩(wěn)像的準確性以及視頻穩(wěn)像的效果。
本發(fā)明實施例的具體實施方式可參照前述相應實施例，此處不再贅述。
圖3是本發(fā)明實施例一種視頻穩(wěn)像裝置的結構示意圖。下面結合圖3對本發(fā)明實施例的所述視頻穩(wěn)像裝置做詳細的說明。
所述視頻穩(wěn)像裝置包括：采集單元301、提取單元302、計算單元303和轉換單元304。
采集單元301適于在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像；提取單元302適于在所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點。
計算單元303適于基于所述當前幀圖像的特征點的數(shù)量，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及前幀圖像對應的所述陀螺儀數(shù)據(jù)，或采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標，計算相鄰變換矩陣，所述前幀圖像為所述當前幀圖像的上一幀圖像。
具體實施中，所述特征點的數(shù)量達到設定值時，將所述當前幀圖像的特征點與所述前幀圖像的特征點進行匹配；按照匹配后所述特征點坐標的關系計算所述第一相鄰變換矩陣。所述特征點的數(shù)量未達到設定值時，計算所述第二相鄰變換矩陣的公式為：
需要說明的是，相鄰變換矩陣為所述當前幀圖像和與其相鄰的所述前幀圖像之間的變換矩陣，也可以是當前幀圖像和與其相鄰的后一幀圖像之間的變換矩陣。
轉換單元304適于根據(jù)所述相鄰變換矩陣對所述當前幀圖像進行轉換。經(jīng)計算單元303，得到當前幀圖像和與其相鄰的所述前幀圖像之間的相鄰變換矩陣。轉換單元304基于相鄰變換矩陣對所述當前幀圖像進行轉換和校正，從而達到穩(wěn)像的效果。
本發(fā)明實施例的具體實施方式可參照前述相應實施例，此處不再贅述。
圖4是本發(fā)明實施例另一種視頻穩(wěn)像裝置的結構示意圖。下面結合圖4對本發(fā)明實施例的所述視頻穩(wěn)像裝置做詳細的說明。
所述視頻穩(wěn)像裝置包括：采集單元301、提取單元302、計算單元303、第一計算單元401、第二計算單元402、轉換單元304、調整單元403、確定 子單元404和更新子單元405。
采集單元301適于在拍攝圖像時一并獲取所述陀螺儀的陀螺儀數(shù)據(jù)，所述陀螺儀數(shù)據(jù)分別對應于各幀圖像；提取單元302適于在所述陀螺儀數(shù)據(jù)表明所述攝像終端抖動時，提取當前幀圖像的特征點。
本實施例中，計算單元303可以包括第一計算單元401和第二計算單元402。第一計算子單元401適于在所述特征點的數(shù)量達到設定值時，采用所述當前幀圖像的特征點坐標與所述前幀圖像的特征點坐標計算第一相鄰變換矩陣，所述相鄰變換矩陣為所述第一相鄰變換矩陣；第二計算子單元402適于在所述特征點的數(shù)量未達到設定值時，采用所述當前幀圖像對應的所述陀螺儀數(shù)據(jù)以及所述前幀圖像對應的所述陀螺儀數(shù)據(jù)計算第二相鄰變換矩陣，所述相鄰變換矩陣為所述第二相鄰變換矩陣。
本實施例中，調整單元403可以包括確定子單元404和更新子單元405。確定子單元404適于以所述當前幀圖像的當前幀時間為基準，利用在所述當前幀時間的預設延遲時間范圍內的所述陀螺儀數(shù)據(jù)，迭代計算所述第二相鄰變換矩陣，直至所述第二相鄰變換矩陣與所述第一相鄰變換矩陣的差值最小，確定校正陀螺儀數(shù)據(jù)；更新子單元405適于計算所述校正陀螺儀數(shù)據(jù)對應的時間與所述當前幀時間的差值，并更新為所述陀螺儀數(shù)據(jù)與所述當前幀圖像的延遲時間。
本發(fā)明實施例通過利用特征點計算出的相鄰變換矩陣對陀螺儀數(shù)據(jù)進行校正，保證了陀螺儀數(shù)據(jù)的準確性，從而達到了相對于現(xiàn)有技術較好的視頻穩(wěn)像效果。
本發(fā)明實施例的具體實施方式可參照圖3及其相應所述實施例，此處不再贅述。
本發(fā)明實施例還公開了一種攝像終端，所述終端包括陀螺儀和所述視頻穩(wěn)像裝置。所述終端可以是計算機、手機、pad等，可以支持配置所述視頻穩(wěn)像裝置，執(zhí)行所述視頻穩(wěn)像方法。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，該程序可以存儲于以計算機可 讀存儲介質中，存儲介質可以包括：rom、ram、磁盤或光盤等。
雖然本發(fā)明披露如上，但本發(fā)明并非限定于此。任何本領域技術人員，在不脫離本發(fā)明的精神和范圍內，均可作各種更動與修改，因此本發(fā)明的保護范圍應當以權利要求所限定的范圍為準。
- 還沒有人留言評論。精彩留言會獲得點贊！