專利名稱：對檢查結果的目視檢驗操作進行輔助的系統(tǒng)、裝置及方法
技術領域：
本發(fā)明涉及一種用于對通過目視識別實際檢查目標來檢驗通過使用圖像的自動外觀檢查獲得的檢查結果的操作進行輔助的系統(tǒng)，涉及一種用于該輔助的裝置，以及涉及一種用于該輔助的方法。
背景技術：
在部件安裝基板(component-mounted board)的制造現(xiàn)場，通過自動外觀檢查裝置檢查部件的存在、焊料填角(solder fillet)的狀態(tài)等，之后，操作員目視檢驗最終確定為有缺陷的部件。而且，對于定義為有缺陷的部件中可校正的部件，操作員可以在檢驗其狀態(tài)的同時手動地校正這些部件。作為進行目視識別有缺陷部位的操作的裝置的現(xiàn)有示例，存在一種在支撐作為檢查目標的每一個基板的平臺上方布置有放大鏡的裝置。對于該裝置，例如，在日本未審查專利公開第2001-165860號中得以描述:通過從外觀檢查裝置獲取確定為有缺陷的部位的位置信息，并基于該位置信息控制平臺的移動，確定為有缺陷的部位可定位于放大鏡的視野的中心處。日本未審查專利公開第H08-195554號揭示了一種用于焊接缺陷部位的校正操作的裝置，該裝置包括放大鏡、XY表、激光源等。在該裝置中，激光束照射到放大鏡的視野中，并基于從焊接檢查裝置獲得的缺陷部位的位置數(shù)據(jù)使缺陷部位與激光束的照射位置對齊，從而明確指出有缺陷區(qū)域。在制造要求確保高質量的基板的現(xiàn)場，采用了這樣的系統(tǒng):其中嚴格設定自動外觀檢查的檢查標準，并且操作員小心地目視檢驗確定為有缺陷的部件，手動校正有缺陷部位，并認真檢驗缺陷的消除。近些年，在部件安裝基板中，部件的安裝密度較高，因此，要求目視檢驗和校正的部件的數(shù)量也得到增加，并且進行目視檢驗的操作員的作用變得巨大。另外，由于許多基板是在多個部位安裝有相同類型的部件，并且許多基板是與具有相同配置的多個單獨的基板彼此耦接，這使得尋找作為檢驗目標的區(qū)域需要極大的負荷。而且，不熟悉該操作的人會在尋找檢驗目標區(qū)域的過程中出差錯。根據(jù)如在日本未審查專利公開第2001-165860號和第H08-195554號中描述的具有這種配置的裝置，實際對象的有缺陷部位在被放大或標識的同時被顯示，因此，能夠減少操作負荷，并能夠防止錯誤。然而，這兩種裝置的尺度都很大，并且其成本也高。而且，每一個這種裝置的安裝都需要廣闊的空間這一事實也阻礙了裝置的推介。此外，還構思了這樣一種方法:其中通過從用于自動外觀檢查的檢查目標基板的圖像裁出以有缺陷部位作為中心的部分范圍之后顯示該范圍的放大圖像的方式來通知檢驗目標區(qū)域。然而，如上所述，每一個基板具有配置相似的多個部位。因此，為了立即指定有缺陷部位與實際基板的哪一部位對應，僅顯示以有缺陷部位作為中心的范圍的圖像是不夠的。結果是，操作員的操作效率會降低，也會對整體生產效率產生極大的影響。

發(fā)明內容
考慮到前述問題，本發(fā)明的目的是進行能夠通過使用在自動外觀檢查中使用的圖像并使用檢查結果來便利地指定檢驗目標區(qū)域的輔助。根據(jù)本發(fā)明的用于輔助目視檢驗操作的系統(tǒng)為用于對檢驗具有使用圖像進行了自動外觀檢查的多個區(qū)域的檢查目標的至少一個檢查目標區(qū)域的狀態(tài)的操作進行輔助的系統(tǒng)，該操作通過目視識別實際檢查目標的方法進行。如下文所描述的，該系統(tǒng)包括圖像存儲單元、測量數(shù)據(jù)存儲單元、圖像讀取單元、特征區(qū)域提取單元、圖像編輯單元以及顯示單
J Li ο圖像存儲單元存儲檢查目標的圖像(其通過用于自動外觀檢查的成像而產生)，測量數(shù)據(jù)存儲單元將通過自動外觀檢查的測量處理獲得的測量數(shù)據(jù)與通過測量處理測量的目標區(qū)域的位置信息相關聯(lián)地進行存儲?；跈z驗目標區(qū)域的位置信息或標識信息，圖像讀取單元從圖像存儲單元讀取包括檢驗目標區(qū)域且與檢查目標的一部分對應的區(qū)(area)的圖像。特征區(qū)域提取單元對與包含于與由圖像讀取單元讀取的圖像對應的區(qū)中的位置信息相關聯(lián)地存儲在測量數(shù)據(jù)存儲單元中的測量數(shù)據(jù)進行分析，并提取具有單獨目視可識別的固有特征且分布在檢驗目標區(qū)域周圍的一個或多個特征區(qū)域。圖像編輯單元將由圖像讀取單元讀取的圖像編輯成這樣的狀態(tài)，在該狀態(tài)下圖像中的各個特征區(qū)域以及檢驗目標區(qū)域以彼此不同的模式進行標記，并且顯示單元顯示由圖像編輯單元編輯的圖像。根據(jù)上述配置，操作員能夠基于顯示屏幕中的標記檢驗出哪一區(qū)域為檢驗目標，還能夠基于分布在檢驗目標區(qū)域周圍的多個特征區(qū)域的特征并從它們之間的相對位置關系來指定實際檢查目標的檢驗目標區(qū)域。每一個特征區(qū)域具有目視可識別的固有特征，因此，即使存在具有相似配置的其它部位，也能夠防止弄錯檢驗目標區(qū)域。在上述系統(tǒng)的第一實施例中，通過使用在自動外觀檢查的測量處理中獲得的測量值相對于最佳測量值的偏差度作為要訣，特征區(qū)域提取單元提取除檢驗目標區(qū)域之外的檢查目標區(qū)域(其包含于處理目標的區(qū)中)中偏差度相對較大的區(qū)域。例如，如果將在自動外觀檢查中確定為無缺陷但測定中使用的測量值與最佳值偏差極大的區(qū)域提取作為特征區(qū)域，即使存在其中以相似的位置關系布置有與檢驗目標區(qū)域和各個特征區(qū)域相同類型的區(qū)域的其它部位，也仍然可以通過其外觀辨別所提取的特征區(qū)域。在第二實施例的系統(tǒng)中，用于檢測位于除檢查目標區(qū)域之外的地方的外來對象的測量包含于自動外觀檢查的測量處理中，并且特征區(qū)域提取單元將在作為處理目標的區(qū)中的檢驗目標區(qū)域周圍獲得表示外來對象的測量數(shù)據(jù)的部位提取作為特征區(qū)域。以該方式，通過使用外來對象作為標記，操作員能夠容易地指定檢驗目標區(qū)域。要注意，也可以布置將第一實施例和第二實施例合并于其中的系統(tǒng)。第三實施例的系統(tǒng)還包括標記圖案存儲單元，該標記圖案存儲單元存儲用于指定標記圖案的信息，所述標記圖案在自動外觀檢查中被作為標記統(tǒng)一設定給相同類型的檢查目標?；诖鎯υ跇擞泩D案存儲單元中的信息，圖像編輯單元將所述區(qū)中包含的標記圖案的地方指定作為處理目標，并編輯該圖像，使得所指定的地方以與至少檢驗目標區(qū)域不同的模式進行標記。根據(jù)上述實施例，標記圖案的地方以及特征區(qū)域得以標記，因此，能夠更容易地指定檢驗目標區(qū)域。要注意，對于標記圖案，可理想地實施根據(jù)與用于檢驗目標區(qū)域和特征區(qū)域兩者均不同的第三模式進行的標記；然而，也可以實施根據(jù)與用于特征區(qū)域相同的模式進行的標記。上述系統(tǒng)能夠包括:服務器，通過與外觀檢查裝置通信而接收包括在外觀檢查中使用的圖像以及測量數(shù)據(jù)的檢查結果信息；以及終端裝置，具有用于檢驗操作的顯示單元。這種情況下，至少上述的圖像存儲單元和測量數(shù)據(jù)存儲單元設置在該服務器中，并且該終端裝置的顯示單元具有充當上述顯示單元的功能。其它單元可以被設置在服務器和終端裝置的任何一個中，或者部分單元可以被設置在服務器中，其余單元可以被設置在終端裝置中?？商娲兀梢允狗掌骱徒K端裝置彼此合作地用作一個單元。圖像存儲單元和測量數(shù)據(jù)存儲單元不僅能夠被設置在服務器中，而且能夠被設置在外觀檢查裝置中。而且，可以消除服務器與終端裝置之間的差異，并且各個單元(即，圖像存儲單元、測量數(shù)據(jù)存儲單元、圖像讀取單元、特征區(qū)域提取單元、圖像編輯單元以及顯示單元)可以被設置在單個計算機中。根據(jù)本發(fā)明的用于輔助目視檢驗操作的裝置包括上述各個單元中的至少圖像讀取單元、特征區(qū)域提取單元、圖像編輯單元，還包括輸出由圖像編輯單元編輯的圖像的圖像數(shù)據(jù)以使圖像數(shù)據(jù)得以顯示的輸出單元。而且，圖像存儲單元和測量數(shù)據(jù)存儲單元能夠被設置在這一輔助裝置中，然而，這些存儲單元也可以被設置在外部計算機或外觀檢查裝置中。一種根據(jù)本發(fā)明的用于對檢查結果的目視檢驗操作進行輔助的方法，包括以下步驟:響應于自動外觀檢查存儲檢查目標的圖像于圖像存儲單元中，該圖像通過對自動外觀檢查成像而產生，以及在測量數(shù)據(jù)存儲單元中將通過自動外觀檢查的測量處理獲得的測量數(shù)據(jù)與通過測量處理測量的目標區(qū)域的位置信息相關聯(lián)地存儲；基于檢驗目標區(qū)域的位置信息或標識信息，從圖像存儲單元讀取區(qū)的圖像，該區(qū)包括檢驗目標區(qū)域且與檢查目標的一部分對應；分析測量數(shù)據(jù)，該測量數(shù)據(jù)與包含于與從圖像存儲單元讀取的圖像對應的區(qū)中的位置信息被相關聯(lián)地存儲到測量數(shù)據(jù)存儲單元中，并提取具有單獨目視可識別的固有特征且分布在檢驗目標區(qū)域周圍的一個或多個特征區(qū)域；以及將由圖像存儲單元讀取的圖像編輯成這樣的狀態(tài)，在該狀態(tài)下圖像中的各個特征區(qū)域以及檢驗目標區(qū)域以彼此不同的模式進行標記，以及顯示編輯成的圖像。如上所述的，通過服務器與終端裝置的組合或通過單個計算機能夠實施上述方法。而且，當圖像存儲單元和測量數(shù)據(jù)存儲單元被設置在外觀檢查裝置中時，另外，當顯示單元被合并在外觀檢查裝置中時，可以在外觀檢查裝置中實施上述方法。而且，在各個步驟中，對于讀取圖像的步驟以及提取特征區(qū)域的步驟，可以首先執(zhí)行上述步驟的任何一個，并且可以并行執(zhí)行這些步驟。目視檢驗的目標區(qū)域不局限于外觀檢查中確定為有缺陷的區(qū)域。例如，可以將在外觀檢查中確定為無缺陷但其中測量值與最佳值相差的偏差度較大的區(qū)域當作檢驗目標區(qū)域。而且，為了雙重檢驗的目的，具有重要功能的區(qū)域可以始終被設定為目視檢驗的目標區(qū)域。而且，至于哪一(些)區(qū)域要被檢驗，例如，可以通過檢查結果和測量結果的分析自動地選擇檢驗目標區(qū)域，或者可以顯示應該有必要進行檢驗的區(qū)域的列表并由操作員從中選擇區(qū)域。根據(jù)本發(fā)明，基于顯示屏幕中的標記特征，能夠容易地標識與所標記的部位對應的實際檢查目標，從而能夠指定檢驗目標區(qū)域。因此，可以有效進行目視檢驗操作，而不會在尋找檢驗目標區(qū)域的過程中出現(xiàn)錯誤。


圖1為示出用于檢查部件安裝基板的系統(tǒng)的配置的功能方框圖；圖2為用于檢驗有缺陷部件的信息的檢驗屏幕的布局圖；圖3為示出要在圖2的區(qū)300上顯示的圖像的示例的視圖；圖4為示出檢驗操作的過程的流程圖；圖5為示出分析數(shù)據(jù)表的數(shù)據(jù)配置示例的表；圖6為示出分析數(shù)據(jù)表的創(chuàng)建處理的過程的流程圖；以及圖7為示出要在檢驗終端中執(zhí)行的處理的過程的流程圖。
具體實施例方式圖1為示出用于檢查部件安裝基板的系統(tǒng)的配置示例的功能方框圖。該實施例為這樣的實施例:對作為經(jīng)由各個步驟(即，焊料印刷步驟、部件安裝步驟以及回流步驟)完成的部件安裝基板(在下文中，簡稱為“基板”)的對象進行自動外觀檢查，之后允許操作員目視檢驗通過所述檢查確定為有缺陷的區(qū)域。該實施例包括外觀檢查裝置1、管理服務器2以及用于檢驗操作的終端裝置3(在下文中，稱為“檢驗終端3”)。各個裝置1、2以及3經(jīng)由局域網(wǎng)(LAN)線路4彼此連接；然而，檢驗終端3和外觀檢查裝置I彼此不直接通信，而外觀檢查裝置I和管理服務器2之間交換信息，且檢驗終端3和管理服務器2之間交換信息。包括管理服務器2、檢驗終端3以及LAN線路4的網(wǎng)絡系統(tǒng)起到用于輔助目視檢驗操作的系統(tǒng)的作用。外觀檢查裝置I包括成像單元11、檢查執(zhí)行單元12、通信處理單元13等。根據(jù)預定的檢查標準，檢查執(zhí)行單元12促動(actuate)成像單元11產生圖像，并通過使用所產生的圖像，針對每一個部件檢查該部件是否安裝在基板上、該部件是否具有位置偏移或旋轉偏移、焊料填角的形狀和大小是否合適等。而且，檢查執(zhí)行單元12可以從圖像中的某一處檢測外來對象(例如，橋和焊球)，該處未有安裝有部件其上。各種檢查中使用的圖像和檢查結果信息從通信處理單元13被發(fā)送到管理服務器2。在管理服務器2中，提供了這些功能:存儲單元，包括檢查結果數(shù)據(jù)庫21、圖像數(shù)據(jù)庫22、檢查標準數(shù)據(jù)庫23等；存儲處理單元24 ;通信處理單元25 ;以及面向終端處理單元26。從外觀檢查裝置I發(fā)送的信息由通信處理單元25接收，之后，通過存儲處理單元24被存儲到檢查結果數(shù)據(jù)庫21和圖像數(shù)據(jù)庫22中。在檢查標準數(shù)據(jù)庫23中，為每種類型的基板登記了用于外觀檢查的檢查標準。例如，對于部件單元檢查標準來說，登記了檢查區(qū)的配置數(shù)據(jù)、二值化(binarization)的閾值等，并且還為要對部件實施的每一個測量項目登記了表示“無缺陷的”的測量值的范圍。而且，對于外來對象的檢測，作為檢查標準，登記了用于檢測中使用的二值化閾值、要與關于檢測到的特征的測量值比較的閾值等。
而且，在該實施例中，將一個基板成像多次，并且通過將被成像多次的圖像彼此連接產生整個基板的圖像。在將成像單元11的視野與各個成像目標區(qū)對齊的控制中使用的一組信息以及在將這些圖像彼此連接的處理中使用的一組信息也被存儲到檢查標準數(shù)據(jù)庫23中。在所述處理中使用的該組信息包括用于指定在基板上用作標記的圖案的信息(在下文中，稱為“標記圖案”)。從外觀檢查裝置I發(fā)送的檢查結果信息被分層，使得能夠針對每一個基板以及基板中的每一個部件讀取測量值以及有缺陷的/無缺陷的測定結果。在缺陷信息包含于基板單元檢查結果信息中的情況下，存儲處理單元24分析檢查結果信息，并創(chuàng)建分析數(shù)據(jù)表(后文要描述的)。分析數(shù)據(jù)表被配置成能夠針對基板的單元進行讀取，并與檢查結果信息結合作為原始信息而存儲到檢查結果數(shù)據(jù)庫21中。面向終端處理單元26經(jīng)由通信處理單元25接收來自檢驗終端3的發(fā)送請求，根據(jù)該請求從相應的數(shù)據(jù)庫讀取信息，并將該信息發(fā)送到檢驗終端3。而且，在從檢驗終端3獲取包含由已經(jīng)在檢驗終端3上進行操作的操作員所輸入的測定數(shù)據(jù)的檢查結果信息時，面向終端處理單元26利用所獲取的信息在檢查結果數(shù)據(jù)庫21中更新現(xiàn)存的檢查結果信
肩、O檢查標準數(shù)據(jù)庫23中的檢查標準根據(jù)需要也被發(fā)送到外觀檢查裝置I。檢驗終端3包括輸入單元31、顯示單元32、分析處理單元33、顯示處理單元34、通信處理單元35等。輸入單元31和顯示單元32包括硬件，其它處理單元為通過軟件在CPU中設定的功能。輸入單元31為用于接收作為檢驗目標的基板的標識代碼(在下文中，稱為“基板代碼”)、檢驗結果等的輸入的單元，并且能夠包括基板代碼的讀取裝置(條形碼閱讀器等)以及鍵盤和鼠標。顯示單元32包括能夠顯示圖像的配置(例如，液晶顯示器)。要注意，在一些情況下，顯示單元32被放置作為檢驗終端3的外部裝置。分析處理單元33響應于每一個基板代碼的輸入被激活，之后，經(jīng)由通信處理單元35與管理服務器2通信，并針對與所輸入的基板代碼對應的基板獲取各條信息(即，圖像、檢查結果信息以及檢查標準)?；谕ㄟ^分析處理單元33的處理結果，顯示處理單元34創(chuàng)建用于對與外觀信息中確定為有缺陷的部件(在下文中，稱為“有缺陷部件”)有關的信息進行檢驗的檢驗屏幕的數(shù)據(jù)，并在顯示單元32上顯示該檢驗屏幕。圖2示出檢驗屏幕的布局的示例。在該示例的檢驗屏幕上，分別在其左側和右側顯示圖像和信息，而不只是圖像。首先，在顯示圖像的左側區(qū)上，設置了較大區(qū)300，并且在區(qū)300的下方左右并排布置了兩個較小區(qū)301和302。在區(qū)300上，顯示將作為每一個檢驗目標的部件置于中心的這一范圍(基板的一部分)的放大圖像。在該放大圖像G的左上角，以重疊的方式顯示整個基板的地像MP。在區(qū)301上,進一步放大顯示只包括檢驗目標部件的范圍的圖像,在區(qū)302上,顯示檢驗目標部件的樣品圖像(示出理想安裝狀態(tài))。如上文提到的，在該實施例的外觀檢查中，將基板分成多個區(qū)之后對該基板成像，并且通過對多個區(qū)成像產生的圖像(在下文中，稱為“分割圖像”)彼此連接，從而產生整個基板的圖像。同樣，通過將包括作為檢驗目標的部件的分割圖像g0與其外圍附近的八個分割圖像gl至g8連接而產生檢驗屏幕30上的放大圖像G。同時，地像MP并不是通過在處理當中對基板成像產生的圖像，而是通過提前將基板成像為模型所產生的圖像，或者為通過CAD數(shù)據(jù)表示的示意圖等。地像MP為用于允許操作員獲得整個基板中檢驗目標部件的大概位置的圖像，并且放大圖像G為用于將檢驗目標部件的具體配置及其外圍通知給操作員的圖像。在屏幕的右側，垂直地布置有三個區(qū)311、312以及313。在最上層區(qū)311上，顯示有關作為檢驗目標的基板的一般信息(基板代碼、表示檢查標準的程序名稱、有缺陷部件的數(shù)量等)。在中間區(qū)312上，顯示待檢驗的有缺陷部件的列表。在最下層區(qū)313上，顯示有關作為當前檢驗目標的部件的檢查結果連同每一個測量項目的測量值。圖3示出區(qū)300中的放大圖像G和地像MP的具體示例。位于放大圖像G的中心部分的部件100為該示例的檢驗目標部件。地像MP包括背景部分(灰色部分，其實際上著色為支撐基板于其上的平臺的表面的顏色)以及基板的整體圖像(中空部分)。雖然圖3中未示出，然而，在地像MP中的基板上，以縮小的方式顯示基板上的各種部件。而且，在該實施例的地像MP上，分別用高亮度顏色(例如，黃色和白色)顯示表示檢驗目標部件的中心的X坐標和Y坐標的兩條線ml和m2。而且，在放大圖像G上，通過與線ml和m2相同的顏色來設定分別表示檢驗目標部件100的X坐標和Y坐標的兩條線LI和L2。然而，這些線LI和L2沒有設定在檢驗目標部件100的安裝范圍上，并且檢驗目標部件100被顏色與線LI和L2相同的矩形框架UW所包圍。而且，在放大圖像G上，設定多個紅色框架RW和多個藍色框架BW(在圖3中，紅色由交替的長短劃線來表示，藍色由虛線來表示)。在下文中，這些顏色框架RW和BW分別稱為“紅色框架RW”和“藍色框架BW”。針對從諸如部件和電極銷等結構中選擇的那些進行了外觀檢查的結構設定紅色框架RW。在圖3的示例中，針對位于檢驗目標部件100上方相對較大的芯片部件101、位于其右下方區(qū)域相對較小的芯片部件102以及位于其左下方區(qū)域的IC部件103單獨設定紅色框架RW。這些部件的每一個在外觀檢查中被確定為“無缺陷的”。然而，在芯片部件101中，用于電極之一的焊接區(qū)(solder area)變得略微有些大，并且芯片部件102被安裝得略微有些傾斜。而且，被紅色框架包圍的IC部件103的一個電極銷的形狀稍微扭曲。在外觀檢查中進行了諸如圖像的位置偏移的校正以及各個分割圖像的位置對齊等處理的情況下，為用作標記的圖案設定藍色框架BW。這些標記圖案是由圖案的位置信息和形狀指定的圖案，并且各條指定信息被登記到管理服務器2的檢查標準數(shù)據(jù)庫23中。在圖3的示例中，藍色框架BW被設定為單獨包圍基板上絲印圖案的突出部分a、通孔的陣列b、絲印圖案的邊角部分的通孔C、以及表示如此安裝的部件的部件代碼的字符圖案。通過由外觀檢查裝置I進行的檢查而確定為存在有缺陷部件的基板被容置在堆疊機(stacker)中，并由傳送機進行傳送等，從而被供應到坐在檢驗終端3前面的操作員處。操作員在觀看包括上述放大圖像G和地像MP的檢驗屏幕的同時按如圖4所示的過程執(zhí)行檢驗操作。首先，操作員拾取一個基板，并將其基板代碼輸入至檢驗終端3 (步驟SI)。在該實施例的基板上，表示基板代碼的條形碼被印刷在其端部邊緣的邊沿等上，因此，能夠使用條形碼閱讀器通過讀取處理輸入基板代碼。檢驗終端3響應于基板代碼的輸入與管理服務器2通信，獲取目標基板的檢查結果信息和檢查標準，并據(jù)此，啟動初始檢驗屏幕(后文描述的圖7的步驟S202)。在該階段，在區(qū)300上沒有顯示放大圖像G，并且僅在其上顯示不具有線ml和m2的地像MP。而且，雖然顯示檢驗目標部件的圖像和信息的區(qū)301、302以及313也轉變成空白狀態(tài)，然而在區(qū)311和312上顯示基板信息和有缺陷部件的列表。操作員檢驗顯示的有缺陷部件列表，并在列表中選擇一個有缺陷部件(步驟S2)。響應于該選擇，在檢驗終端3中，實施圖7的步驟S203至步驟S212，在檢驗屏幕的左側區(qū)300上顯示如圖3所示的放大圖像G，并在區(qū)300的左上角的地像MP上設定表示所選擇的部件的位置的線ml和m2。在區(qū)300下方的兩個區(qū)301和302上分別顯示所選擇的部件的放大圖像和樣品圖像，并在右下方區(qū)313上顯示所選擇的部件的檢查結果。 操作員通過地像M中的線ml和m2確定檢驗目標部件的大概位置(步驟S3)。接下來，參考不同標記的部件的特征和分布以及放大圖像G的標記圖案，操作員確定實際基板上與放大圖像G對應的范圍(步驟S4)。而且，基于各個標記部位中的位置關系等，操作員指定檢驗目標部件(步驟S5)。之后，操作員目視檢驗實際檢驗目標部件，確定其質量，并輸入測定數(shù)據(jù)(0K或NG)(步驟 S6)。在第一個有缺陷部件列表中仍剩余有缺陷部件的情況下(步驟S7中為“NO”)，操作員選擇下一個部件(返回到步驟S2)，之后，以相似的方式繼續(xù)該操作。在檢驗了所有有缺陷部件的情況下，并且存在作為檢驗目標的另一個基板(步驟S8中為“NO”)，則操作員拾取下一個基板，并執(zhí)行與以上類似的操作。如上文提到的，將用于指定由藍色框架BW所包圍的標記圖案的信息存儲到管理服務器2的檢查標準數(shù)據(jù)庫23中。同時，通過使用檢查結果數(shù)據(jù)庫21中的分析數(shù)據(jù)表來指定由紅色框架RW所包圍的部件和電極。該分析數(shù)據(jù)表為其中將基板上具有容易標識的特征的部件列出的表，并且是針對檢測到有缺陷部件的每一個基板而創(chuàng)建的。圖5示出分析數(shù)據(jù)表的配置示例。該示例的分析數(shù)據(jù)表存儲測定時確定為“無缺陷的”部件中在對所有項目的質量測定中使用的測量值相對于最佳測量值的偏差度為10%或更大的部件的信息。在所示示例中，存儲有:目標部件的標識代碼(部件代碼)；目標部件的中心部分的X坐標和Y坐標；獲得10%或更大的偏差度的測量項目；在有關測量項目的測量中獲得的測量值和偏差度等。雖然表示部件的中心位置的X坐標和Y坐標為測量值，然而也可以提取包含于檢查標準中的標準位置信息。而且，至于要對部件的每一個電極執(zhí)行的測量項目，在此對其賦以分支編號，每一個分支編號分別表示測量項目所對應的電極(參考圖5中的“IC006”的測量項目“填角-1”)。通過這些分支編號的每一個，能夠指定部件中與測量值對應的電極的相對位置。上述分析數(shù)據(jù)表創(chuàng)建于管理服務器2中，存儲于檢查結果數(shù)據(jù)庫21中，之后，響應于來自檢驗終端3的發(fā)送請求與相應的檢查結果信息一起被讀取，并被發(fā)送到檢驗終端3。圖6示出用于通過管理服務器2創(chuàng)建分析數(shù)據(jù)表的處理的過程。
每當從外觀檢查裝置I接收基板的單元的檢查結果信息的發(fā)送時，通過管理服務器2的存儲處理單元24執(zhí)行該處理。然而，本發(fā)明不限于此，也可以在檢查結果信息被存儲到檢查結果數(shù)據(jù)庫21中之后經(jīng)過了預定時間時執(zhí)行該處理。首先，在第一步驟SlOl中，從外觀檢查裝置I獲取檢查結果信息，并檢驗有關有缺陷部件的信息是否包含于該信息中。在不包括有缺陷部件的情況下(步驟S102中為“NO”)，跳過下面的步驟，并結束處理。在有缺陷部件存在的情況下(步驟S102中為“YES”)，依次關注除了有缺陷部件之外的部件(即，確定為“無缺陷的”部件)，并執(zhí)行回路(loop)LP中的處理。在回路LP中，通過使用與所關注的部件相關的檢查結果信息，對于對目標部件實施的每一個測量項目，通過以下算術操作來獲得實際測量值相對于確定為無缺陷的測量值范圍的最佳值的偏差度(步驟S103)。[表達式I]
I測量值-最佳值I_確定為無缺陷的測量值的范圍當計算出每一個測量值的偏差度時，檢驗其中最大的偏差度是否為10%或更大。如果最大的偏差度為10%或更大(步驟S104中為“YES”)，則將獲得偏差度的測量項目、測量值以及偏差度與所關注的部件的部件代碼和位置信息一起存儲到分析數(shù)據(jù)表中(步驟S105)。在與諸如電極的浮動檢查和焊角檢查等檢查相關的測量項目(對每一個電極都實施該測量項目)成為該存儲的目標的情況下，表示相應的電極的分支編號也被存儲。通過上述處理，在確定為“無缺陷的”部件中，目標被縮小到測量值相對于最佳值的偏差度大的部件，并創(chuàng)建其中將各個目標部件的偏差度和位置信息彼此相關聯(lián)地登記的分析數(shù)據(jù)表。接下來，圖7示出響應于基板代碼的輸入而要在檢驗終端3中執(zhí)行的處理的過程(圖4中的步驟SI)。首先，在步驟S201中，通過使用所輸入的基板代碼，將發(fā)送請求輸出到管理服務器2，從而獲取目標基板的檢查結果信息、分析數(shù)據(jù)表以及檢查標準。雖然對于檢查標準，沒有必要獲取所有條目的信息，然而有必要獲取對于創(chuàng)建和編輯顯示目標的放大圖像G所需的信息，例如:用于指定標記圖案的信息、有關分割圖像的位置對齊的定義信息、以及表示各個部件與分割圖像之間的對應關系的信息(對應信息表示哪一部件包含于哪一分割圖像中)。在步驟S202中，基于檢查結果信息，在顯示單元32上顯示初始檢驗屏幕。之后，每當操作員進行選擇有缺陷部件的操作時，執(zhí)行回路LP1，從而在更新檢驗屏幕時接收由操作員輸入的測定。下面將詳細說明回路LPl的處理。首先，在步驟S203中，讀取有關所選擇的有缺陷部件(檢驗目標部件)的檢查結果信息。在下一個步驟S204中，基于所讀取的信息中的位置信息，指定所選擇的有缺陷部件包含于哪一分割圖像，并通過與管理服務器2通信獲取所指定的分割圖像g0及其外圍附近的八個分割圖像gl至g8。而且，在步驟S205中，如此獲取的各個分割圖像彼此連接，從而產生要在區(qū)300上顯示的放大圖像G。在所選擇的有缺陷部件跨越多個分割圖像的情況下，將有缺陷部件在其中占據(jù)的比例最大的分割圖像定義為布置在中心的圖像g0。而且，在基板上的各個部件通過其單獨的部件代碼與分割圖像相關聯(lián)的情況下，然后在步驟S204中，可以基于所選擇的有缺陷部件的部件代碼來指定要布置在中心的圖像g0。之后，對放大圖像G執(zhí)行步驟S206至步驟S211。在步驟S206中，從起點(其為所選擇的有缺陷部件的位置)設定檢索范圍(以預定的特定方向作為參考)。例如，可以將從以特定方向為中心延伸預定角度Θ的范圍作為檢索范圍。在步驟S207中，從分析數(shù)據(jù)表登記的部件中提取包含于設定的檢索范圍的部件。在提取多個部件的情況下，提取其中偏差度最大的一個部件。對多個預定方向執(zhí)行步驟S206和步驟S207，從而提取偏差度相對較大的多個部件。當沿所有方向的提取處理結束時(步驟S208中為“YES”)，然后在步驟S209中，通過使用檢查標準提取放大圖像G中的標記圖案。在步驟S210中，由紅色框架RW標記步驟S207中基于偏差度提取的部件，由藍色框架BW標記步驟S209中提取的標記圖案。在步驟S211中，對放大圖像中的有缺陷部件設定用于標識的框架UW和表示X坐標和Y坐標的線LI和L2。在由紅色框架RW進行的標記中，大體上將包圍了整個部件的范圍作為設定目標進行標記，然而，在電極的單元的測量值出現(xiàn)較大的偏差度的情況下，基于相應的測量項目的分支編號，紅色框架RW可以僅包圍獲得了偏差度較大的測量值的那個電極。通過該方法為圖3的IC部件103的一個電極設定紅色框架RW。通過步驟S210和步驟S211的處理，將放大圖像編輯成處于這一狀態(tài)下的圖像，在該狀態(tài)下:所選擇的有缺陷部件和偏差度較大的部件以及位于有缺陷部件外圍的標記圖案由彼此不同的顏色來標記。在步驟S212中，通過經(jīng)編輯的該放大圖像來更新檢驗屏幕的顯示。雖然省略了具體過程，然而對顯示的這一更新中，在地像MP上同樣設定用于位置標識的線ml和m2，而在圖2所示的區(qū)301、302以及313上分別顯示圖像和檢查結果信息。另外，在步驟S213中，接收通過操作員輸入的測定數(shù)據(jù)(0K或NG)的輸入(圖4中的步驟S6)，并且將所輸入的測定數(shù)據(jù)添加到所選擇的有缺陷部件的檢查結果信息。對確定為有缺陷的所有部件執(zhí)行回路LP1，從而基于在自動外觀檢查中確定為有缺陷的部件的檢查結果信息添加測定數(shù)據(jù)。當處理了所有有缺陷部件時，在最后一個步驟S214中，將完成測定數(shù)據(jù)的添加的檢查結果信息文件發(fā)送到管理服務器。以該方式，結束處理。在上述示例中，始終通過操作員進行質量的測定輸入，并將所輸入的測定數(shù)據(jù)添加到檢查結果信息。然而，代替此，可以只在操作員確定所選擇的部件為無缺陷的時才重寫檢驗屏幕的區(qū)313的檢查結果。在許多情況下，與類似于外觀檢查的方式將部件安裝基板的生產線自動化。然而，焊膏的施加量和回流步驟中的加熱溫度并不一致，并且通過貼裝機(mounter)進行的部件的安裝也并非統(tǒng)一進行。因此，即使在相同類型的部件中，也會在部件的位置和姿態(tài)、焊角的形狀和大小等中出現(xiàn)變化。在待安裝于相同類型的基板的相同處的部件的狀態(tài)中也可看到類似的變化。在目視可識別區(qū)域上進行外觀檢查中的每一個測量處理。因此，在獲得與最佳值極大不同的測量值的區(qū)域中，在已經(jīng)成為測量目標的外觀上出現(xiàn)與相同類型的其它區(qū)域中顯著不同的特征是非?？赡艿?。關注于這一點，在上述實施例中，將實際測量值相對于最佳測量值的偏差度大的部件提取作為由紅色框架RW標記的目標，因此，可以標記出具有通過肉眼可辨別的特征的部件。而且，根據(jù)圖7的處理，在具有作為檢驗目標的有缺陷部件的多個方位上設定了由紅色框架RW進行的標記作為參考，另外，通過有缺陷部件外圍的多個部位的藍色框架BW明確示出標記圖案。因此，基于所標記的部位的外觀特征和分布，操作員能夠容易地在實際基板上找到與其對應的部位。因此，能夠無誤地指定作為檢驗目標的有缺陷部件，并能夠確
定其質量。要注意，在提取偏差度較大的部件的情況下的檢索方向沒有特別限制。然而，檢索方向可被理想地設定為使檢驗目標部件能夠被所提取的部件包圍。例如，在圖3的示例的情況下，相對于有缺陷部件沿三個方向(正上方、斜右下方、斜左下方)執(zhí)行檢索。而且，可以相對于檢驗目標部件沿四個方向(即，上、下、左、右)進行檢索，而且，也可以沿總共八個方向(通過將斜上方和斜下方與上述四個方向相加獲得)進行檢索。而且，在圖7所示的過程中，對于每一個檢索范圍，提取該范圍中偏差度最大的一個部件。然而，本發(fā)明不限于此，可以提取偏差度超過預定值的所有部件。而且，可以在從作為目標的整個放大圖像提取偏差度超過預定值的部件而沒有設定檢索方向的條件下，來選擇添加有紅色框架RW的部件，并且使所提取的一些部件分布成包圍檢驗目標部件。而且，在所提取的部件的偏差度大大超過作為提取條件的最小值(10%)的情況下，通過檢索待提取的部件的數(shù)量可以變?yōu)橐粋€。標記的方法不限于框架，然而，必須避免以會導致圖像中的標記目標的特征不能夠被檢驗的這一模式進行的標記。而且，由紅色框架RW標記的目標不限于部件，例如，外來對象檢查中檢測的焊球和橋檢查中提取的橋可以作為標記目標。例如，通過檢查測量到其大小超過預定值的焊球和橋能夠被肉眼容易地識別，因此，適合作為紅色框架RW的標記目標。將說明有關上述系統(tǒng)的其它修改示例。首先，在上述實施例中，輸入作為檢驗目標的基板的基板代碼，從而讀取包括用于檢查的圖像的各種信息，并設定檢驗屏幕。然而，在外觀檢查裝置I中檢查的基板按照檢查順序連續(xù)流動到檢驗終端3并且能夠唯一指定待檢驗的基板的情況下，可根據(jù)檢查順序將所述信息發(fā)送到檢驗終端3而無須輸入基板代碼。這種情況下，該信息可以直接從外觀檢查裝置I發(fā)送到檢驗終端3，而無須經(jīng)由管理服務器2。而且，檢驗目標不限于有缺陷部件，雖部件被確定為無缺陷的但測量值的偏差度大的部件也可以包含于檢驗目標中。從圖像數(shù)據(jù)庫22讀取包括檢驗目標部件的區(qū)的圖像且將該圖像編輯成進行了標記的放大圖像G的功能也可以設置在管理服務器2中，而不限制于檢驗終端3。這種情況下，在檢驗終端3中，設定有:從管理服務器2接收包括放大圖像G的檢驗屏幕30的信息供應，且在顯示單元32上顯示該信息的功能；以及接收通過操作員輸入的測定數(shù)據(jù)的輸入且將該測定數(shù)據(jù)發(fā)送到管理服務器2的功能。在上述實施例中，從圖像數(shù)據(jù)庫22讀取圖像，產生放大圖像G，之后，指定添加有紅色框架RW和藍色框架BW的部位。然而，可以顛倒這些處理的順序，并且可以并行實施各處理。在上述實施例中，指定包括檢驗目標部件的分割圖像，并通過該圖像及其外圍附近的8個圖像產生放大圖像G。然而，本發(fā)明不限于此，基于檢驗目標部件的位置信息，可以指定預定大小的區(qū)(在該區(qū)中所述部件被置于中心)，并可以從基板的整體圖像裁出所指定的區(qū)的圖像。而且,并不統(tǒng)一限制放大圖像G的比例因子(scaling factor)。在偏差度較大的部件(添加有紅色框架RW)位于檢驗目標部件附近的情況下，可以增大比例因子，而在添加有紅色框架RW的部件離檢驗目標部件較遠的情況下，可以減小比例因子。例如，考慮檢驗目標部件與作為偏差度較大的部件被提取的部件中離檢驗目標部件最近的部件之間的距離，將放大圖像G的比例因子決定為使放大圖像G的比例因子能夠與該距離成反比?？商娲?，可以設定兩個比例因子，S卩:標準比例因子，由九個分割圖像形成的整體圖像以該比例因子顯示；以及增大比例因子，其大于標準比例因子。在預定數(shù)量或更多的偏差度較大的部件包含于由增大比例因子顯示的顯示范圍的情況下，可以采用增大比例因子，反之，可以采用標準比例因子。而且，比例因子的切換不限于兩級，而是還可以采用三級或更多的級別。在上述實施例中，經(jīng)由最終步驟完成的基板作為目視檢驗的目標。然而，同樣在中間步驟結束的階段，能夠在基板(其中自動外觀檢查在該步驟中結束)上進行目視檢驗操作，另外，顯示相似的標記圖像，從而能夠輔助檢驗操作。最后，應用了本發(fā)明的檢查目標不限于部件安裝基板，并且本發(fā)明也能夠應用于其它結構，其中每一個包括通過自動外觀檢查進行檢查的多個目標區(qū)域，并且在這些區(qū)域的外觀上可以出現(xiàn)目視可識別的固有特征。
權利要求
1.一種用于對檢查結果的目視檢驗操作進行輔助的系統(tǒng)，所述系統(tǒng)為用于對檢驗具有使用圖像進行了自動外觀檢查的多個區(qū)域的檢查目標的至少一個檢查目標區(qū)域的狀態(tài)的操作進行輔助的系統(tǒng)，所述操作通過目視識別實際檢查目標的方法進行，所述系統(tǒng)包括: 圖像存儲單元，配置成存儲所述檢查目標的圖像，所述圖像通過對所述自動外觀檢查成像而產生； 測量數(shù)據(jù)存儲單元，配置成將通過所述自動外觀檢查的測量處理獲得的測量數(shù)據(jù)與通過所述測量處理測量的目標區(qū)域的位置信息相關聯(lián)地存儲； 圖像讀取單元，配置成基于檢驗目標區(qū)域的位置信息或標識信息從所述圖像存儲單元讀取區(qū)的圖像，所述區(qū)包括所述檢驗目標區(qū)域且與所述檢查目標的一部分對應； 特征區(qū)域提取單元，配置成對與包含于與由所述圖像讀取單元讀取的所述圖像對應的所述區(qū)中的所述位置信息相關聯(lián)地存儲在所述測量數(shù)據(jù)存儲單元中的所述測量數(shù)據(jù)進行分析，并提取具有單獨目視可識別的固有特征且分布在所述檢驗目標區(qū)域周圍的一個或多個特征區(qū)域； 圖像編輯單元，配置成將由所述圖像讀取單元讀取的所述圖像編輯成這樣的狀態(tài)，在該狀態(tài)下所述圖像中的各個所述特征區(qū)域與所述檢驗目標區(qū)域以彼此不同的模式進行標記；以及 顯示單元，配置成顯示由所述圖像編輯單元編輯的所述圖像。
2.根據(jù)權利要求1所述的用于對檢查結果的目視檢驗操作進行輔助的系統(tǒng)，其中，通過使用在所述自動外觀檢查的所述測量處理中獲得的測量值相對于最佳測量值的偏差度作為要訣，所述特征區(qū)域提取單元提取除所述檢驗目標區(qū)域之外的檢查目標區(qū)域中偏差度相對較大的區(qū)域，所述檢查目標區(qū)域包含于所述區(qū)中。
3.根據(jù)權利要求1或2所述的用于對檢查結果的目視檢驗操作進行輔助的系統(tǒng)，其中，用于檢測位于除所述檢查目 標區(qū)域之外的地方的外來對象的測量包含于所述自動外觀檢查的所述測量處理中，并且 所述特征區(qū)域提取單元將在所述區(qū)的所述檢驗目標區(qū)域周圍獲得表示所述外來對象的測量數(shù)據(jù)的部位提取作為所述特征區(qū)域。
4.根據(jù)權利要求1所述的用于對檢查結果的目視檢驗操作進行輔助的系統(tǒng)，還包括: 標記圖案存儲單元，其存儲用于指定標記圖案的信息，所述標記圖案在所述自動外觀檢查中被作為標記統(tǒng)一設定給相似類型的所述檢查目標，其中 所述圖像編輯單元基于存儲在所述標記圖案存儲單元中的信息指定包含于所述區(qū)中的所述標記圖案的地方，并編輯所述圖像，使得所指定的地方以與至少所述檢驗目標區(qū)域不同的模式進行標記。
5.根據(jù)權利要求1所述的用于對檢查結果的目視檢驗操作進行輔助的系統(tǒng)，其中， 所述系統(tǒng)包括:服務器，通過與外觀檢查裝置通信來接收包括在所述外觀檢查中使用的所述圖像以及所述測量數(shù)據(jù)的檢查結果信息；以及終端裝置，具有用于所述檢驗操作的顯示單元，并且 至少所述圖像存儲單元和所述測量數(shù)據(jù)存儲單元設置在所述服務器中，并且所述終端裝置的顯示單元具有充當所述顯示單元的功能。
6.一種用于對檢查結果的目視檢驗操作進行輔助的裝置，所述裝置為用于對檢驗具有使用圖像進行了自動外觀檢查的多個區(qū)域的檢查目標的至少一個檢查目標區(qū)域的狀態(tài)的操作進行輔助的裝置，所述操作通過目視識別實際檢查目標的方法進行，所述裝置包括: 圖像讀取單元，配置成基于檢驗目標區(qū)域的位置信息或標識信息從存儲有所述檢查目標的圖像的圖像存儲單元讀取區(qū)的圖像，所述區(qū)包括所述檢驗目標區(qū)域且與所述檢查目標的一部分對應； 特征區(qū)域提取單元，配置成從測量數(shù)據(jù)存儲單元讀取并分析測量數(shù)據(jù)，以及提取具有單獨目視可識別的固有特征且分布在所述檢驗目標區(qū)域周圍的一個或多個特征區(qū)域；所述測量數(shù)據(jù)與包含于與由所述圖像讀取單元讀取的所述圖像對應的所述區(qū)中的所述位置信息相關聯(lián)，所述測量數(shù)據(jù)存儲單元配置成將通過所述自動外觀檢查的測量處理獲得的測量數(shù)據(jù)與通過所述測量處理測量的目標區(qū)域的位置信息相關聯(lián)地存儲； 圖像編輯單元，配置成將由所述圖像讀取單元讀取的所述圖像編輯成這樣的狀態(tài)，在該狀態(tài)下所述圖像中的各個所述特征區(qū)域以及所述檢驗目標區(qū)域以彼此不同的模式進行標記；以及 輸出單元，配置成輸出由所述圖像編輯單元編輯的所述圖像的圖像數(shù)據(jù)，使所述圖像數(shù)據(jù)得以顯示。
7.一種用于對檢查結果的目視檢驗操作進行輔助的方法，所述方法為用于對檢驗具有使用圖像進行了自動外觀檢查的多個區(qū)域的檢查目標的至少一個檢查目標區(qū)域的狀態(tài)的操作進行輔助的方法，所述操作通過目視識別實際檢查目標的方法進行，所述方法包括以下步驟: 響應于所述自動外觀檢查存儲所述檢查目標的圖像于圖像存儲單元中，所述圖像通過對所述自動外觀檢查成像而產生，以及在測量數(shù)據(jù)存儲單元中將通過所述自動外觀檢查中的測量處理獲得的測量數(shù)據(jù)與通過所述測量處理測量的目標區(qū)域的位置信息相關聯(lián)地存儲； 基于檢驗目標區(qū)域的位置信息或標識信息從所述圖像存儲單元讀取區(qū)的圖像，所述區(qū)包括所述檢驗目標區(qū)域且與所述檢查目標的一部分對應； 分析測量數(shù)據(jù)，所述測量數(shù)據(jù)與包含于與從所述圖像存儲單元讀取的所述圖像對應的所述區(qū)中的位置信息相關聯(lián)地被存儲在所述測量數(shù)據(jù)存儲單元中，以及提取具有單獨目視可識別的固有特征且分布在所述檢驗目標區(qū)域周圍的一個或多個特征區(qū)域；以及 將從所述圖像存儲單元讀取的所述圖像編輯成這樣的狀態(tài)，在該狀態(tài)下所述圖像中的各個所述特征區(qū)域以及所述檢驗目標區(qū)域以彼此不同的模式進行標記，以及顯示編輯成的圖像。
全文摘要
對于完成了自動外觀檢查的目標(基板)，存儲在檢查中使用的圖像，將通過檢查中的測量處理獲得的測量數(shù)據(jù)與測量目標區(qū)域的位置信息相關聯(lián)地存儲，并通過使用這些存儲的信息，顯示用于對目視檢驗特定檢查目標區(qū)域(部件100)的實際狀態(tài)的操作進行輔助的圖像。該圖像與等效于基板的一部分的區(qū)對應，并包括檢驗目標部件100。對于圖像中的檢驗目標部件100，實施由框架UW以及線L1和L2進行的標記。而且，提取目視可識別且具有固有特征的特征區(qū)域(部件101、102、103等)以便包圍檢驗目標部件100的外圍。
文檔編號G01N21/88GK103091328SQ20121041305
公開日2013年5月8日 申請日期2012年10月25日 優(yōu)先權日2011年11月7日
發(fā)明者川田哲博 申請人:歐姆龍株式會社