專利名稱：基于超分辨率圖像重建的電路板元件安裝/焊接質(zhì)量檢測(cè)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種電路板生產(chǎn)質(zhì)量的檢測(cè)方法和系統(tǒng)，特別是一種基于超分辨率圖像重 建的電路板元件安裝/焊接質(zhì)量檢測(cè)方法及系統(tǒng)。
背景技術(shù)：
隨著電子技術(shù)的發(fā)展和廣泛應(yīng)用，電子產(chǎn)品的需求量越來越大，對(duì)其制作工藝的要求 也越來越高。對(duì)于眾多電子產(chǎn)品的生產(chǎn)企業(yè)來說，如何對(duì)電子產(chǎn)品生產(chǎn)過程中出現(xiàn)的質(zhì)量 問題進(jìn)行準(zhǔn)確、高效的檢測(cè)和及時(shí)的修正，降低次品率，保證出廠產(chǎn)品的質(zhì)量，不但可以 節(jié)約生產(chǎn)成本，而且直接影響到企業(yè)的品牌和聲譽(yù)，關(guān)系到企業(yè)的生存，是企業(yè)的核心競(jìng) 爭(zhēng)力所在。其中，電路板生產(chǎn)質(zhì)量的檢測(cè)，特別是電路板元件安裝/焊接質(zhì)量的檢測(cè)，是電 子產(chǎn)品生產(chǎn)質(zhì)量控制中的關(guān)鍵步驟之一。
電路板元件安裝/焊接質(zhì)量的檢測(cè)目前常用的方法包括人工目測(cè)、在線測(cè)試(ICT， In Circuit Testing, ICT)、自動(dòng)光學(xué)檢測(cè)(AOI, Automatic Optic Inspection, AOI)、自動(dòng)X光檢 測(cè)、激光檢測(cè)等幾種。其中人工目測(cè)利用操作人員的視覺檢査來確定生產(chǎn)的電路板上的元 件是否正確安裝及焊接，是最傳統(tǒng)、最簡(jiǎn)易的檢測(cè)方法，其優(yōu)點(diǎn)是先期投入少、無需測(cè)試 夾具等，但由于人的檢測(cè)受到視覺精度、視覺疲勞、判斷速度、主觀感覺等因素的影響， 存在著差錯(cuò)檢出率低、速度慢、長(zhǎng)期成本高等眾多缺點(diǎn)，特別隨著IC芯片、貼片元件的大 量使用，人工的檢測(cè)方法已日益難以適應(yīng)現(xiàn)代化生產(chǎn)的要求。在線測(cè)試包括針床式測(cè)試、 飛針測(cè)試等幾種測(cè)試方法，通過探針接觸來對(duì)電路板電性能進(jìn)行在線檢測(cè)，發(fā)現(xiàn)制造過程 中的差錯(cuò)，具有每個(gè)板的測(cè)試成本低、測(cè)試能力強(qiáng)、診斷準(zhǔn)確等優(yōu)點(diǎn)，在實(shí)際生產(chǎn)中得到 了廣泛的應(yīng)用，但這種方法需要探針物理接觸電路板，容易造成電路板的損傷，并且隨著 電路精密度的提高，對(duì)檢測(cè)儀的機(jī)械精度要求也越來越高，增加了夾具制造、編程與調(diào)試 等方面的成本和難度，實(shí)際應(yīng)用中具有一定的局限性。自動(dòng)X光檢測(cè)、激光檢測(cè)等由于需 要特殊的光源，因此均存在成本高、制作困難等缺點(diǎn)， 一般只用在一些要求較高的場(chǎng)合。自動(dòng)光學(xué)檢測(cè)(也稱自動(dòng)視覺檢測(cè))是一種較新的檢測(cè)方法，它通過對(duì)生產(chǎn)過程中電 路板的光學(xué)影像與標(biāo)準(zhǔn)電路板的圖像模板進(jìn)行圖像分析和模式匹配，來對(duì)電路板上元件的 安裝和焊接質(zhì)量進(jìn)行檢測(cè)和處理，通常在回流前后、電氣測(cè)試之前使用，用于提高電氣處 理或功能測(cè)試階段的合格率。與傳統(tǒng)的人工目測(cè)、針床或飛針檢測(cè)等方法相比，自動(dòng)光學(xué) 檢測(cè)法具有成本低、編程簡(jiǎn)單、操作容易、缺陷覆蓋率高等優(yōu)點(diǎn)，逐漸成為電路板缺陷檢 測(cè)的主流方法之一。
但隨著電路精密度和元件微型化程度的提高，特別是IC芯片、貼片元件的大量使用， 使得自動(dòng)光學(xué)檢測(cè)過程中對(duì)電路板光學(xué)影像分辨率的要求越來越高。目前在自動(dòng)光學(xué)檢測(cè) 過程中獲得高分辨率電路板光學(xué)影像的方法主要有兩種， 一是提高成像設(shè)備的分辨率。但 高分辨率的成像設(shè)備價(jià)格昂貴，顯著增加了檢測(cè)系統(tǒng)的成本，使得檢測(cè)系統(tǒng)難以大量應(yīng)用 到生產(chǎn)的各個(gè)環(huán)節(jié)；二是減少成像設(shè)備的拍攝面積，從而增加單位面積的像素采樣點(diǎn)。由 于這種方法減少了一次拍攝的面積，因此對(duì)較大的電路板常常需要分區(qū)拍攝，不但降低了 檢測(cè)的速度，而且需要增加機(jī)械裝置對(duì)成像設(shè)備或電路板進(jìn)行移位，不太適用于自動(dòng)化生 產(chǎn)線上的快速在線檢測(cè)， 一般于產(chǎn)品的抽檢。此外，受成像設(shè)備光學(xué)部件的物理限制，拍 攝面積能減少的幅度有限，也限制了成像分辨率的進(jìn)一步提高。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)目前自動(dòng)光學(xué)檢測(cè)中使用高分辨率成像設(shè)備時(shí)成本高、減少拍 攝區(qū)域面積時(shí)速度慢等缺點(diǎn)，提供一種基于超分辨率圖像重建的電路板元件安裝/焊接質(zhì)量 檢測(cè)方法，該方法利用攝像頭陣列和傳送帶的運(yùn)動(dòng)對(duì)電路板上的待檢測(cè)區(qū)域進(jìn)行超分辨率 圖像重建，并根據(jù)重建的電路板待檢測(cè)區(qū)域高分辨率圖像來判斷元件是否合格地安裝和焊 接。與現(xiàn)有技術(shù)相比，本發(fā)明提供的電路板元件安裝/焊接質(zhì)量檢測(cè)方法使用分辨率較低的 成像設(shè)備即能恢復(fù)出高分辨率的電路板待檢測(cè)區(qū)域圖像，并且無需增加機(jī)械裝置對(duì)成像設(shè) 備或電路板進(jìn)行移位，而是利用攝像頭陣列和生產(chǎn)線上傳送帶的正常移動(dòng)來實(shí)現(xiàn)圖像分辨 率的提升，成本低廉，檢測(cè)速度快，特別適合大量應(yīng)用于電路板各個(gè)生產(chǎn)環(huán)節(jié)的在線檢測(cè)。 本發(fā)明還提供了一種基于超分辨率圖像重建的分布/集中式電路板元件安裝/焊接質(zhì)量檢測(cè) 系統(tǒng)，通過多個(gè)設(shè)置在生產(chǎn)線傳送帶上的、包含攝像頭陣列的超分辨率檢測(cè)端及與所有超 分辨率檢測(cè)端連接的中心服務(wù)器來對(duì)電路板元件安裝/焊接的各道工序進(jìn)行檢測(cè)和監(jiān)控，能 有效地發(fā)現(xiàn)每道工序中的不合格元件和焊點(diǎn)，便于工作人員及早處理，顯著降低因元件安 裝和焊接不合格而造成的材料損耗。本發(fā)明的目的還在于提供實(shí)現(xiàn)所述方法的一種基于超分辨率圖像重建的電路板元件安 裝/焊接質(zhì)量檢測(cè)系統(tǒng)。
本發(fā)明提供的基于超分辨率圖像重建的電路板元件安裝/焊接質(zhì)量檢測(cè)方法，具體包含 以下步驟
(1) 指定生產(chǎn)線上的檢測(cè)點(diǎn)和電路板上的檢測(cè)區(qū)域指定需要檢測(cè)的一道或多道電路 生產(chǎn)工序，在上述工序完成后、下一道工序開始之前的生產(chǎn)線傳送帶上設(shè)置檢測(cè)點(diǎn)，選取 覆蓋該檢測(cè)點(diǎn)與上一檢測(cè)點(diǎn)之間的工序所增加的所有新安裝元件和新焊接焊點(diǎn)的區(qū)域作為 電路板在該監(jiān)測(cè)點(diǎn)處的待檢測(cè)區(qū)域。
(2) 設(shè)置攝像頭陣列在檢測(cè)點(diǎn)上設(shè)置攝像頭陣列，攝像頭陣列由若干攝像頭構(gòu)成， 至少有兩個(gè)攝像頭的連線與傳送帶移動(dòng)方向成大于0度的夾角，攝像頭的排列方式保證攝 像頭陣列的拍攝范圍能覆蓋電路板當(dāng)前需要檢測(cè)的區(qū)域。
(3) 建立模板庫拍攝合格電路板上的元件和焊點(diǎn)，建立合格元件和焊點(diǎn)的標(biāo)準(zhǔn)圖像 模板，并記錄其正確位置。
(4) 采集傳送帶上電路板的圖像通過攝像頭陣列對(duì)生產(chǎn)線傳送帶上移動(dòng)的電路板進(jìn) 行連續(xù)拍攝，得到多幅電路板圖像。
(5) 超分辨率重建電路板待檢測(cè)區(qū)域圖像利用各攝像頭對(duì)移動(dòng)中的電路板拍攝的多 幅圖像，對(duì)電路板上待檢測(cè)區(qū)域進(jìn)行超分辨率圖像重建。
(6) 元件和焊點(diǎn)檢測(cè)檢查電路板待檢測(cè)區(qū)域高分辨率圖像中的新增元件和焊點(diǎn)的位 置，并與相應(yīng)的標(biāo)準(zhǔn)元件/焊點(diǎn)圖像模板相比較，如果元件或焊點(diǎn)與標(biāo)準(zhǔn)位置偏差和與標(biāo)準(zhǔn) 圖像模板的差異在給定范圍內(nèi)，則安裝或焊接合格；如果元件或焊點(diǎn)與標(biāo)準(zhǔn)位置偏差或與 標(biāo)準(zhǔn)圖像模板的差異超出給定的范圍，則安裝或焊接不合格。
步驟(2)中，攝像頭陣列采用線性陣列，陣列方向與傳送帶移動(dòng)方向垂直。
步驟(3)中，除建立合格元件和焊點(diǎn)的標(biāo)準(zhǔn)圖像模板外，還對(duì)不同類型的不合格元件
和焊點(diǎn)建立缺陷圖像模板。
步驟(5)中，電路板上待檢測(cè)區(qū)域圖像的超分辨率重建采用以下步驟
(5.1) 在攝像頭陣列的不同攝像頭在不同時(shí)間拍攝的多幅圖像中檢測(cè)出步驟(1)指定 的待檢測(cè)區(qū)域；
(5.2) 裁剪出包含待檢測(cè)區(qū)域的子圖像；
(5.3) 用超分辨率圖像重建算法，從不同攝像頭在不同時(shí)間得到包含待檢測(cè)區(qū)域的子
圖像中恢復(fù)出高分辨率的待檢測(cè)區(qū)域重建圖像。步驟(6)中的元件和焊點(diǎn)檢測(cè)，如果在步驟(3)中建立了缺陷圖像模板，則當(dāng)元件 或焊點(diǎn)與標(biāo)準(zhǔn)圖像模板的差異超出給定的范圍時(shí)，將元件或焊點(diǎn)與缺陷圖像模板比較，如
果元件或焊點(diǎn)與某缺陷圖像模板的差異在給定范圍內(nèi)時(shí)，則判斷為相應(yīng)的不合格類型；如 果元件或焊點(diǎn)與所有缺陷圖像模板的差異均超出給定范圍，則判斷為未知不合格類型。
本發(fā)明提供的基于超分辨率圖像重建的分布/集中式電路板元件安裝/焊接質(zhì)量檢測(cè)系 統(tǒng)，由中心服務(wù)器和若干超分辨率檢測(cè)端構(gòu)成，中心服務(wù)器與每個(gè)超分辨率檢測(cè)端連接， 超分辨率檢測(cè)端采集檢測(cè)點(diǎn)處電路板待檢測(cè)區(qū)域的圖像并對(duì)其進(jìn)行超分辨率重建后傳送到 中心服務(wù)器，中心服務(wù)器將每個(gè)檢測(cè)點(diǎn)采集的電路板待檢測(cè)區(qū)域的高分辨率圖像與相應(yīng)的 標(biāo)準(zhǔn)模板進(jìn)行匹配，檢測(cè)出不合格元件或焊點(diǎn)。
中心服務(wù)器由順次連接的模板庫、模式匹配模塊、服務(wù)器通信模塊共同構(gòu)成，其中模 板庫用于存儲(chǔ)待檢測(cè)電路上元件和焊點(diǎn)的位置信息及其標(biāo)準(zhǔn)圖像模板和缺陷圖像模板；模 式匹配模塊通過服務(wù)器通信模塊收集各超分辨率檢測(cè)端處理后的電路板待檢測(cè)區(qū)域高分辨 率圖像，并與模板庫中相應(yīng)的模板進(jìn)行比較，給出檢測(cè)結(jié)果；服務(wù)器通信模塊完成中心服 務(wù)器與超分辨率檢測(cè)端的圖像和數(shù)據(jù)傳輸。
超分辨率檢測(cè)端由檢測(cè)端通信模塊、超分辨率圖像重建模塊、控制模塊、圖像采集模
塊、攝像頭陣列共同構(gòu)成，其中檢測(cè)端通信模塊、超分辨率圖像重建模塊、圖像采集模塊 和攝像頭陣列順次連接，控制模塊與檢測(cè)端通信模塊、超分辨率圖像重建模塊、圖像采集 模塊連接。檢測(cè)端通信模塊完成超分辨率檢測(cè)端與中心服務(wù)器的圖像和數(shù)據(jù)傳輸；超分辨 率圖像重建模塊按控制模塊的指令和參數(shù)對(duì)圖像采集模塊傳送過來的電路板圖像中的待檢 測(cè)區(qū)域進(jìn)行超分辨率重建，并將重建后的電路板待檢測(cè)區(qū)域高分辨率圖像傳送到檢測(cè)端通 信模塊進(jìn)行發(fā)送；控制模塊通過檢測(cè)端通信模塊接收中心服務(wù)器的指令和數(shù)據(jù)，并控制圖 像采集模塊和超分辨率圖像重建模塊對(duì)電路板待檢測(cè)區(qū)域進(jìn)行圖像采集和超分辨率重建； 圖像采集模塊按控制模塊的指令和參數(shù)控制攝像頭陣列進(jìn)行圖像采集，并將采集的結(jié)果送 到超分辨率圖像重建模塊進(jìn)行處理；攝像頭陣列由若干攝像頭構(gòu)成，每個(gè)攝像頭與圖像采
集模塊連接，在圖像采集模塊控制下完成電路板圖像的采集。 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和特色在于 (1)成本低、可靠性高。由于本發(fā)明采用低分辨率的攝像頭，從一系列質(zhì)量較差、分 辨率較低的圖像來重建圖像質(zhì)量更好、空間分辨率更高的圖像，因此攝像設(shè)備的成本可以 顯著降低，可靠性也比精密的高分辨率攝像設(shè)備高。同時(shí)由于不需要專門的機(jī)械裝置來對(duì) 攝像設(shè)備或電路板進(jìn)行移位，進(jìn)一步降低成本和提高可靠性。(2) 檢測(cè)速度快。本發(fā)明利用生產(chǎn)線上傳送帶的正常移動(dòng)來進(jìn)行圖像重建，無需專門
的機(jī)械裝置來對(duì)攝像設(shè)備或電路板進(jìn)行移位，不影響正常生產(chǎn)的流程，具有很高的檢測(cè)速 度，非常適合用于生產(chǎn)線上產(chǎn)品質(zhì)量的實(shí)時(shí)在線檢測(cè)。
(3) 可以同時(shí)對(duì)電路板生產(chǎn)中的多個(gè)步驟或環(huán)節(jié)進(jìn)行在線檢測(cè)，能及時(shí)地、有效地檢 測(cè)出不合格產(chǎn)品，降低因產(chǎn)品不合格引起的材料損耗。本發(fā)明提供的基于超分辨率圖像重 建的分布/集中式電子產(chǎn)品生產(chǎn)質(zhì)量檢測(cè)系統(tǒng)，其超分辨率檢測(cè)端成本低，檢測(cè)速度快，因 此可以廣泛地應(yīng)用到生產(chǎn)的各道工序和環(huán)節(jié)的檢測(cè)中，對(duì)生產(chǎn)的全過程進(jìn)行監(jiān)測(cè)，能有效、 及時(shí)地檢測(cè)出不合格產(chǎn)品，避免了不合格產(chǎn)品對(duì)材料的進(jìn)一步浪費(fèi)，顯著地降低不合格產(chǎn) 品引起的材料損耗。


圖l為本發(fā)明系統(tǒng)結(jié)構(gòu)框圖2為本發(fā)明實(shí)施例采用的系統(tǒng)硬件結(jié)構(gòu)框圖3為本發(fā)明實(shí)施例中電路板元件安裝/焊接質(zhì)量檢測(cè)流程圖4為本發(fā)明實(shí)施例中建立模板庫的流程圖5為本發(fā)明實(shí)施例中采集傳送帶上電路板圖像的流程圖6為本發(fā)明實(shí)施例中超分辨率重建電路板待檢測(cè)區(qū)域圖像的流程圖7為本發(fā)明實(shí)施例中元件和焊點(diǎn)的檢測(cè)流程圖。
具體實(shí)施例方式
本發(fā)明的一個(gè)較佳實(shí)施例，其系統(tǒng)結(jié)構(gòu)如圖1所示，由中心服務(wù)器101和若干超分辨 率檢測(cè)端102構(gòu)成，中心服務(wù)器與每個(gè)超分辨率檢測(cè)端通過有線或無線的通信網(wǎng)絡(luò)連接。 超分辨率檢測(cè)端安裝在兩道工序之間生產(chǎn)線傳送帶的檢測(cè)點(diǎn)上，正常工作時(shí)，超分辨率檢 測(cè)端對(duì)傳送帶上經(jīng)過檢測(cè)點(diǎn)的電路板進(jìn)行圖像采集及超分辨率重建，然后通過通信網(wǎng)絡(luò)將 重建后的電路板待檢測(cè)區(qū)域高分辨率圖像傳送到中心服務(wù)器；中心服務(wù)器將每個(gè)檢測(cè)點(diǎn)采 集的電路板待檢測(cè)區(qū)域的高分辨率圖像與相應(yīng)的標(biāo)準(zhǔn)模板進(jìn)行匹配，檢測(cè)出不合格元件或 焊點(diǎn)，并向工作人員給出檢驗(yàn)報(bào)告和/或報(bào)警。
上述實(shí)施例的硬件結(jié)構(gòu)如圖2所示，中心服務(wù)器由順次連接的模板庫201、模式匹配模 塊202、服務(wù)器通信模塊203共同構(gòu)成，由一臺(tái)或多臺(tái)聯(lián)網(wǎng)的計(jì)算機(jī)來實(shí)現(xiàn)，計(jì)算機(jī)的有 線或無線網(wǎng)卡及其驅(qū)動(dòng)軟件構(gòu)成中心服務(wù)器的服務(wù)器通信模塊，完成中心服務(wù)器與超分辨
8率檢測(cè)端的圖像和數(shù)據(jù)傳輸；計(jì)算機(jī)的CPU系統(tǒng)構(gòu)成中心服務(wù)器的模式匹配模塊，用軟件 實(shí)現(xiàn)控制和圖像檢測(cè)的功能，即通過網(wǎng)卡收集各超分辨率檢測(cè)端處理后的電路板待檢測(cè)區(qū) 域高分辨率圖像，與模板庫中相應(yīng)的模板進(jìn)行比較，并給出檢測(cè)結(jié)果；中心服務(wù)器的模板 庫由計(jì)算機(jī)中的存儲(chǔ)設(shè)備(如硬盤)構(gòu)成，用于存儲(chǔ)待檢測(cè)電路上元件和焊點(diǎn)的位置信息 及其標(biāo)準(zhǔn)圖像模板和缺陷圖像模板。
超分辨率檢測(cè)端由檢測(cè)端通信模塊204、超分辨率圖像重建模塊205、控制模塊206、 圖像采集模塊207、攝像頭陣列208共同構(gòu)成，檢測(cè)端通信模塊、超分辨率圖像重建模塊、 圖像采集模塊和攝像頭陣列順次連接，控制模塊與檢測(cè)端通信模塊、超分辨率圖像重建模 塊、圖像采集模塊連接。其中，檢測(cè)端通信模塊由有線或無線網(wǎng)卡實(shí)現(xiàn)，完成超分辨率檢 測(cè)端與中心服務(wù)器的圖像和數(shù)據(jù)傳輸；超分辨率圖像重建模塊由DSP芯片實(shí)現(xiàn)，用軟件實(shí) 現(xiàn)超分辨率圖像重建算法，按控制模塊的指令和參數(shù)對(duì)圖像采集模塊傳送過來的電路板圖
像中的待檢iw區(qū)域進(jìn)行超分辨率重建，并將重建后的電路板待檢測(cè)區(qū)域高分辨率圖像傳送
到檢測(cè)端通信模塊進(jìn)行發(fā)送；控制模塊由MCU芯片實(shí)現(xiàn)，用軟件實(shí)現(xiàn)各模塊的控制和調(diào) 度，通過檢測(cè)端通信模塊接收中心服務(wù)器的指令和數(shù)據(jù)，并向圖像采集模塊和超分辨率圖 像重建模塊發(fā)送指令和數(shù)據(jù)，控制它們對(duì)電路板待檢測(cè)區(qū)域進(jìn)行圖像采集和超分辨率重建； 圖像采集模塊由圖像采集芯片來實(shí)現(xiàn)，按控制模塊的指令和參數(shù)控制攝像頭陣列進(jìn)行圖像
采集，并將采集的結(jié)果送到超分辨率圖像重建模塊進(jìn)行處理；攝像頭陣列由若干攝像頭209 構(gòu)成，攝像頭直線均勻排列，用支架固定，構(gòu)成線性陣列，陣列的方向與生產(chǎn)線上傳送帶 移動(dòng)方向垂直，攝像頭陣列的安裝位置及攝像頭的間距令其拍攝范圍能夠覆蓋該檢測(cè)點(diǎn)處 的電路板待檢測(cè)區(qū)域，每個(gè)攝像頭通過視頻電纜與圖像采集模塊連接，在圖像采集模塊控 制下完成產(chǎn)品圖像的采集。
上述實(shí)施例中，控制模塊和超分辨率圖像重建模塊也可以由單一的DSP、 MCU或其他 嵌入式處理器芯片用軟件的方法來實(shí)現(xiàn)。
上述實(shí)施例中電路板元件安裝/焊接質(zhì)量檢測(cè)，具體可以采用以下步驟進(jìn)行，其流程如 圖3所示
(1)指定生產(chǎn)線上的檢測(cè)點(diǎn)和電路板上的檢測(cè)區(qū)域。
工作人員首先根據(jù)本次生產(chǎn)任務(wù)中電路板元件安裝/焊接的工序要求，指定需要檢測(cè)的 一道或多道電路生產(chǎn)工序，并在上述工序完成后、下一道工序開始之前的生產(chǎn)線傳送帶上 設(shè)置檢測(cè)點(diǎn)，對(duì)指定工序的加工結(jié)果進(jìn)行在線檢測(cè)。
確定每個(gè)檢測(cè)點(diǎn)及該檢測(cè)點(diǎn)需要檢測(cè)的工序后，由工作人員選取覆蓋該檢測(cè)點(diǎn)與上一檢測(cè)點(diǎn)之間的工序所增加的所有新安裝元件和新焊接焊點(diǎn)的區(qū)域作為電路板在該監(jiān)測(cè)點(diǎn)處 的待檢測(cè)區(qū)域。本實(shí)施中，待檢測(cè)區(qū)域選取為滿足上述條件的一個(gè)或多個(gè)矩形區(qū)域。
(2) 設(shè)置攝像頭陣列。
每個(gè)檢測(cè)點(diǎn)均設(shè)置一個(gè)超分辨率檢測(cè)端，超分辨率檢測(cè)端的攝像頭陣列包含若干攝像 頭，本實(shí)施例中，攝像頭呈直線均勻排列，用支架水平固定在生產(chǎn)線傳送帶上方，構(gòu)成線 性陣列，陣列的方向與生產(chǎn)線上傳送帶移動(dòng)方向垂直，并調(diào)節(jié)攝像頭陣列與傳送帶之間的 距離及攝像頭的間距，使攝像頭陣列的拍攝范圍能夠覆蓋該檢測(cè)點(diǎn)處電路板的待檢測(cè)區(qū)域。 攝像頭陣列通過視頻電纜與超分辨率檢測(cè)端的圖像采集模塊連接，在圖像采集模塊控制下 完成產(chǎn)品圖像的采集。
(3) 建立模板庫。
電路板上元件插裝/貼裝的位置、焊接的質(zhì)量等是否合格均可以從其光學(xué)影像中反映出 來，這也是自動(dòng)光學(xué)檢測(cè)法的基礎(chǔ)，因此需要記錄合格的元件和焊點(diǎn)位置及其標(biāo)準(zhǔn)圖像的 模板，并以此為據(jù)來判別元件的安裝和焊接是否合格。元件和焊點(diǎn)的位置及其模板的確定 可以采用多種方法，本實(shí)施例中采用了以下步驟來建立合格元件和焊點(diǎn)的模板庫，其流程
如圖4所示
(3.1) 拍攝合格的電路板，獲得其圖像；
(3.2) 在合格電路板的圖像上，用人工的方法確認(rèn)每個(gè)檢測(cè)點(diǎn)包含的元件和焊點(diǎn)；
(3.3) 記錄下步驟(3.2)中的元件和焊點(diǎn)位置，并剪切下它們的圖像作為該類元件和 焊點(diǎn)的一個(gè)標(biāo)準(zhǔn)圖像模板；
(3.4) 重復(fù)步驟(3.1) ~ (3.3)直至獲得足夠多的標(biāo)準(zhǔn)圖像模板，及每個(gè)元件和焊點(diǎn) 的合理位置范圍，并將其存儲(chǔ)到中心服務(wù)器的模板庫內(nèi)。
除建立合格元件和焊點(diǎn)的標(biāo)準(zhǔn)圖像模板外，本實(shí)施例還采用相同的方法對(duì)典型的不合 格元件和焊點(diǎn)(例如虛焊的焊點(diǎn)等)建立缺陷圖像模板，所建立的缺陷圖像模板同樣存儲(chǔ) 在中心服務(wù)器的模板庫內(nèi)。
(4) 采集傳送帶上電路板的圖像。 傳送帶上電路板圖像的采集由超分辨率檢測(cè)端完成，本實(shí)施例中，采用以下步驟進(jìn)行，
其流程如圖5所示
(4.1) 超分辨率檢測(cè)端啟動(dòng)后，由其控制模塊控制圖像采集模塊及攝像頭陣列以較低 的幀率對(duì)傳送帶進(jìn)行拍攝，并檢測(cè)所拍攝的圖像中是否有電路板進(jìn)入拍攝范圍；
(4.2) 如果檢測(cè)到攝像頭陣列拍攝的圖像中存在電路板時(shí)，則按預(yù)先設(shè)定的較高的幀率進(jìn)行拍攝，并檢測(cè)電路板是否已經(jīng)移出拍攝范圍；
(4.3)當(dāng)檢測(cè)到電路板已經(jīng)移出拍攝范圍，則恢復(fù)較低的拍攝幀率。
(5) 超分辨率重建電路板待檢測(cè)區(qū)域圖像 超分辨率檢測(cè)端中的超分辨率重建模塊利用步驟(4)中各攝像頭對(duì)移動(dòng)中的電路板拍
攝的多幅圖像，對(duì)電路板上待檢測(cè)區(qū)域進(jìn)行超分辨率圖像重建，其流程如圖6所示，具體 步驟如下-
(5.1) 在攝像頭陣列的不同攝像頭在不同時(shí)間拍攝的多幅圖像中檢測(cè)出該檢測(cè)點(diǎn)處的 待檢測(cè)圖像區(qū)域；
(5.2) 裁剪出包含待檢測(cè)區(qū)域的子圖像，以減少對(duì)存儲(chǔ)空間的要求。
(5.3) 采用超分辨率圖像重建算法，從不同攝像頭在不同時(shí)間得到包含待檢測(cè)區(qū)域的 子圖像中恢復(fù)出高分辨率的待檢測(cè)區(qū)域重建圖像。目前已有眾多研究者提出了多種超分辨 率圖像重建算法，例如基于頻率域的消混疊重建法、遞歸最小二乘法、多通道采樣定理法， 基于空間域的非均勻間隔樣本內(nèi)插法、代數(shù)濾波后向投影法、概率論法、集合論法、混合 MAP/POCS法、自適應(yīng)濾波方法等。本實(shí)施例采用了消混疊重建法，本領(lǐng)域的專業(yè)人員應(yīng) 能按照文獻(xiàn)敘述很方便地實(shí)現(xiàn)該方法或其他超分辨率圖像重建方法，這里不再贅述。
超分辨率重建模塊完成電路板待檢測(cè)區(qū)域的圖像重建后，將其通過檢測(cè)端通信模塊發(fā) 送到中心服務(wù)器進(jìn)行處理。
(6) 元件和焊點(diǎn)檢測(cè)。
當(dāng)中心服務(wù)器通過其服務(wù)器通信模塊接收到某一超分辨率終端發(fā)送過來的電路板待檢 測(cè)區(qū)域圖像后，采用以下步驟對(duì)該圖像中的元件和焊點(diǎn)進(jìn)行檢測(cè)，其流程如圖7所示
(6.1) 檢查電路板待檢測(cè)區(qū)域高分辨率圖像中的新增元件和焊點(diǎn)的位置，如果某元件 或焊點(diǎn)的位置與標(biāo)準(zhǔn)位置的偏差超出給定范圍，則判斷為位置不合格的元件或焊點(diǎn)，記錄 后轉(zhuǎn)步驟(6.4)進(jìn)行；
(6.2) 將電路板待檢測(cè)區(qū)域高分辨率圖像中的新增元件和焊點(diǎn)與相應(yīng)的標(biāo)準(zhǔn)圖像模板 相比較，某元件或焊點(diǎn)與標(biāo)準(zhǔn)模板的差異在給定的范圍內(nèi)，則判斷為合格元件或焊點(diǎn)，記 錄后轉(zhuǎn)步驟(6.4);如果某元件或焊點(diǎn)與標(biāo)準(zhǔn)模板的差異超出給定的范圍，則判斷為不合 格元件或焊點(diǎn)；
(6.3) 將步驟(6.2)中不合格元件或焊點(diǎn)與缺陷圖像模板相比較，如果該元件或焊點(diǎn) 與某一缺陷圖像模板的差異在給定范圍內(nèi)，則判斷為相應(yīng)的不合格類型并記錄；如果該元
件或焊點(diǎn)與所有缺陷圖像模板的差異均大于給定范圍，則判斷為未知的不合格類型并記錄。(6.4)如果電路板待檢測(cè)區(qū)域高分辨率圖像中的新增元件和焊點(diǎn)全部檢測(cè)完畢，則根 據(jù)記錄的檢測(cè)結(jié)果向工作人員給出檢測(cè)報(bào)告；如果尚未檢測(cè)完畢，則轉(zhuǎn)步驟(6.1)繼續(xù)進(jìn) 行下一元件或焊點(diǎn)的檢測(cè)。
權(quán)利要求
1、一種基于超分辨率圖像重建的電路板元件安裝/焊接質(zhì)量檢測(cè)方法，其特征在于包括以下步驟(1)指定生產(chǎn)線上的檢測(cè)點(diǎn)和電路板上的檢測(cè)區(qū)域指定需要檢測(cè)的一道或多道電路生產(chǎn)工序，在上述工序完成后、下一道工序開始之前的生產(chǎn)線傳送帶上設(shè)置檢測(cè)點(diǎn)，選取覆蓋該檢測(cè)點(diǎn)與上一檢測(cè)點(diǎn)之間的工序所增加的所有新安裝元件和新焊接焊點(diǎn)的區(qū)域作為電路板在該監(jiān)測(cè)點(diǎn)處的待檢測(cè)區(qū)域；(2)設(shè)置攝像頭陣列在檢測(cè)點(diǎn)上設(shè)置攝像頭陣列，攝像頭陣列由若干攝像頭構(gòu)成，至少有兩個(gè)攝像頭的連線與傳送帶移動(dòng)方向成大于0度的夾角，攝像頭的排列方式保證攝像頭陣列的拍攝范圍能覆蓋電路板當(dāng)前需要檢測(cè)的區(qū)域；(3)建立模板庫拍攝合格電路板上的元件和焊點(diǎn)，建立合格元件和焊點(diǎn)的標(biāo)準(zhǔn)圖像模板，并記錄其正確位置；(4)采集傳送帶上電路板的圖像通過攝像頭陣列對(duì)生產(chǎn)線傳送帶上移動(dòng)的電路板進(jìn)行連續(xù)拍攝，得到多幅電路板圖像；(5)超分辨率重建電路板待檢測(cè)區(qū)域圖像利用各攝像頭對(duì)移動(dòng)中的電路板拍攝的多幅圖像，對(duì)電路板上待檢測(cè)區(qū)域進(jìn)行超分辨率圖像重建；(6)元件和焊點(diǎn)檢測(cè)檢查電路板待檢測(cè)區(qū)域高分辨率圖像中的新增元件和焊點(diǎn)的位置，并與相應(yīng)的標(biāo)準(zhǔn)元件/焊點(diǎn)圖像模板相比較，如果元件或焊點(diǎn)與標(biāo)準(zhǔn)位置偏差和與標(biāo)準(zhǔn)圖像模板的差異在給定范圍內(nèi)，則安裝或焊接合格；如果元件或焊點(diǎn)與標(biāo)準(zhǔn)位置偏差或與標(biāo)準(zhǔn)圖像模板的差異超出給定的范圍，則安裝或焊接不合格。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于步驟(2)中，攝像頭陣列采用線性陣列， 陣列方向與傳送帶移動(dòng)方向垂直。
3、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于步驟(3)中，除建立合格元件和焊 點(diǎn)的標(biāo)準(zhǔn)圖像模板外，還對(duì)不同類型的不合格元件和焊點(diǎn)建立缺陷圖像模板。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于步驟(5)中，電路板上待檢測(cè)區(qū)域圖像 的超分辨率重建采用以下步驟(5.1) 在攝像頭陣列的不同攝像頭在^^同時(shí)間拍攝的多幅圖像中檢測(cè)出步驟(1)指定 的待檢測(cè)區(qū)域；(5.2) 裁剪出包含待檢測(cè)區(qū)域的子圖像；(5.3)用超分辨率圖像重建算法，從不同攝像頭在不同時(shí)間得到包含待檢測(cè)區(qū)域的子 圖像中恢復(fù)出高分辨率的待檢測(cè)區(qū)域重建圖像。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于步驟(6)中的元件和焊點(diǎn)檢測(cè)，如果在 步驟(3)中建立了缺陷圖像模板，則當(dāng)元件或焊點(diǎn)與標(biāo)準(zhǔn)圖像模板的差異超出給定的范圍 時(shí)，將元件或焊點(diǎn)與缺陷圖像模板比較，如果元件或焊點(diǎn)與某缺陷圖像模板的差異在給定 范圍內(nèi)時(shí)，則判斷為相應(yīng)的不合格類型；如果元件或焊點(diǎn)與所有缺陷圖像模板的差異均超 出給定范圍，則判斷為未知不合格類型。
6、 實(shí)現(xiàn)權(quán)利要求l一5之一所述方法的一種基于超分辨率圖像重建的分布/集中式電路 板元件安裝/焊接質(zhì)量檢測(cè)系統(tǒng)，其特征在于由中心服務(wù)器和若干超分辨率檢測(cè)端構(gòu)成，中 心服務(wù)器與每個(gè)超分辨率檢測(cè)端連接，超分辨率檢測(cè)端采集檢測(cè)點(diǎn)處電路板待檢測(cè)區(qū)域的 圖像并對(duì)其進(jìn)行超分辨率重建后傳送到中心服務(wù)器，中心服務(wù)器將每個(gè)檢測(cè)點(diǎn)采集的電路板待檢測(cè)區(qū)域的高分辨率圖像與相應(yīng)的標(biāo)準(zhǔn)模板進(jìn)行匹配，檢測(cè)出不合格元件或焊點(diǎn)。
7、 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于中心服務(wù)器由順次連接的模板庫、模式匹 配模塊、服務(wù)器通信模塊共同構(gòu)成，其中模板庫用于存儲(chǔ)待檢測(cè)電路上元件和焊點(diǎn)的位置 信息及其標(biāo)準(zhǔn)圖像模板和缺陷圖像模板；模式匹配模塊通過服務(wù)器通信模塊收集各超分辨 率檢測(cè)端處理后的電路板待檢測(cè)區(qū)域高分辨率圖像，并與模板庫中相應(yīng)的模板進(jìn)行比較， 給出檢測(cè)結(jié)果；服務(wù)器通信模塊完成中心服務(wù)器與超分辨率檢測(cè)端的圖像和數(shù)據(jù)傳輸。
8、 根據(jù)權(quán)利要求6或7所述的系統(tǒng)，其特征在于超分辨率檢測(cè)端由檢測(cè)端通信模塊、 超分辨率圖像重建模塊、控制模塊、圖像采集模塊、攝像頭陣列共同構(gòu)成，其中檢測(cè)端通 信模塊、超分辨率圖像重建模塊、圖像采集模塊和攝像頭陣列順次連接，控制模塊與檢測(cè) 端通信模塊、超分辨率圖像重建模塊、圖像采集模塊連接。檢測(cè)端通信模塊完成超分辨率 檢測(cè)端與中心服務(wù)器的圖像和數(shù)據(jù)傳輸；超分辨率圖像重建模塊按控制模塊的指令和參數(shù) 對(duì)圖像采集模塊傳送過來的電路板圖像中的待檢測(cè)區(qū)域進(jìn)行超分辨率重建，并將重建后的 電路板待檢測(cè)區(qū)域高分辨率圖像傳送到檢測(cè)端通信模塊進(jìn)行發(fā)送；控制模塊通過檢測(cè)端通 信模塊接收中心服務(wù)器的指令和數(shù)據(jù)，并控制圖像采集模塊和超分辨率圖像重建模塊對(duì)電 路板待檢測(cè)區(qū)域進(jìn)行圖像采集和超分辨率重建；圖像采集模塊按控制模塊的指令和參數(shù)控 制攝像頭陣列進(jìn)行圖像采集，并將采集的結(jié)果送到超分辨率圖像重建模塊進(jìn)行處理；攝像 頭陣列由若干攝像頭構(gòu)成，每個(gè)攝像頭與圖像采集模塊連接，在圖像采集模塊控制下完成 電路板圖像的采集。
全文摘要
本發(fā)明涉及一種基于超分辨率圖像重建的電路板元件安裝/焊接質(zhì)量檢測(cè)方法，該方法利用攝像頭陣列和傳送帶的運(yùn)動(dòng)對(duì)電路板上的待檢測(cè)區(qū)域進(jìn)行超分辨率圖像重建，并根據(jù)重建的電路板待檢測(cè)區(qū)域高分辨率圖像來判斷元件是否合格地安裝和焊接。實(shí)現(xiàn)該方法的檢測(cè)系統(tǒng)由中心服務(wù)器和若干超分辨率檢測(cè)端構(gòu)成，中心服務(wù)器與每個(gè)超分辨率檢測(cè)端連接，超分辨率檢測(cè)端采集檢測(cè)點(diǎn)處電路板待檢測(cè)區(qū)域的圖像并對(duì)其進(jìn)行超分辨率重建后傳送到中心服務(wù)器，中心服務(wù)器將每個(gè)檢測(cè)點(diǎn)采集的電路板待檢測(cè)區(qū)域的高分辨率圖像與相應(yīng)的標(biāo)準(zhǔn)模板進(jìn)行匹配，檢測(cè)出不合格元件或焊點(diǎn)。
文檔編號(hào)G01N21/88GK101477066SQ200910036538
公開日2009年7月8日 申請(qǐng)日期2009年1月9日 優(yōu)先權(quán)日2009年1月9日
發(fā)明者軍 張, 聶文斐, 崗 韋, 馬麗紅 申請(qǐng)人:華南理工大學(xué)