本公開涉及無透鏡顯微鏡的基于利用多個光源的多個拍攝圖像來生成假想的對焦面上的對象物的圖像的技術(shù)。

背景技術(shù)：

想要以不對培養(yǎng)細胞實施染色的方式連續(xù)地觀察該培養(yǎng)細胞這一要求，在治療用細胞的生成、藥效的試驗等將培養(yǎng)細胞用于醫(yī)療、產(chǎn)業(yè)的很多領(lǐng)域中存在。然而，由于細胞大多是幾乎無色透明的，因此在基于透射光的光學顯微鏡下的拍攝中，難以獲知培養(yǎng)細胞的立體構(gòu)造。

在專利文獻1中，示出了如下方法：為了評價細胞的截面形狀，根據(jù)與物鏡平行、且焦點的高度位置相對于對象物不同的多個圖像(即，一邊使焦點在對象物的高度方向上挪動、一邊進行拍攝而得到的多個圖像)，生成與物鏡不平行的面的對焦圖像(模擬截面圖像)。

可是，對于培養(yǎng)細胞的連續(xù)觀察，是在用于維持培養(yǎng)細胞用的濕潤環(huán)境的培養(yǎng)箱這樣的有限空間內(nèi)進行的。為了在這樣濕潤的有限空間內(nèi)進行觀察，專利文獻2公開了不使用透鏡就能夠觀察微小細胞的無透鏡顯微鏡。公開了使通過從多個不同的位置進行照射的照明而拍攝到的多個圖像進行重合(ptychography，疊層成像)來提高分辨率的方法。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2013-101512號公報

專利文獻2：美國專利申請公開第2014/0133702號說明書

技術(shù)實現(xiàn)要素：

然而，在專利文獻1的方法中，存在使用者難以容易地掌握對象物的結(jié)構(gòu)這一問題。

因此，本公開的非限定性且例示性的一個技術(shù)方案，提供能夠供使用者容易地掌握對象物的結(jié)構(gòu)的圖像生成裝置等。

本公開的一個技術(shù)方案涉及的圖像生成裝置，具備：多個照明器；具有載置對象物的表面的圖像傳感器；以及控制電路，其生成位于所述多個照明器與所述圖像傳感器之間的假想的焦面上的所述對象物的對焦圖像，所述控制電路，(a)使用通過每當所述多個照明器依次照明所述對象物時由所述圖像傳感器進行的拍攝而得到的所述對象物的多個拍攝圖像，生成預先確定的多個焦面的各焦面上的所述對象物的對焦圖像，(b)提取顯現(xiàn)在所生成的多個所述對焦圖像中的所述對象物的至少一個截面的輪廓，(c)基于所述至少一個截面的輪廓，生成至少一個圓周，(d)生成球圖像，所述球圖像是具有所生成的所述至少一個圓周的各圓周的至少一個球的立體圖像，(e)通過對所述球圖像進行加工以使得表現(xiàn)出所述至少一個球的截面，從而生成合成圖像，使所述合成圖像顯示于顯示器。

此外，該總括性或具體的技術(shù)方案既可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的記錄介質(zhì)來實現(xiàn)，也可以通過裝置、系統(tǒng)、方法、集成電路、計算機程序和計算機可讀取的記錄介質(zhì)的任意組合來實現(xiàn)。計算機可讀取的記錄介質(zhì)例如包括cd-rom(compactdisc-readonlymemory，光盤只讀存儲器)等非易失性記錄介質(zhì)。

根據(jù)本公開，使用者能夠容易地掌握對象物的結(jié)構(gòu)。從本說明書及附圖中可知曉本公開的一個技術(shù)方案的附加的益處及優(yōu)點。該益處和/或優(yōu)點可以單獨地由本說明書及附圖所公開的各種實施方式及特征而得到，無需為了獲得一個以上益處和/或優(yōu)點而實施所有的實施方式及特征。

附圖說明

圖1是表示實施方式1涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖2是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖3是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖4是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖5是說明實施方式1涉及的照明器所包含的針孔(pinhole)應滿足的大小條件的示意圖。

圖6是表示實施方式1涉及的存儲部所存儲的內(nèi)容的一例的圖。

圖7是表示實施方式1涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖8是表示坐標與焦面的關(guān)系的一例的示意圖。

圖9是表示實施方式1涉及的拍攝裝置的工作的一例的流程圖。

圖10是表示實施方式1涉及的重新聚焦處理部的工作的一例的流程圖。

圖11是說明實施方式1涉及的重新聚焦(refocus)處理的具體例子的示意圖。

圖12是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖13是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖14是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖15是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖16是表示實施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。

圖17是表示實施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。

圖18是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖19是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖20是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖21是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖22是表示實施方式2涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖23是示意性表示實施方式2中的照明位置的范圍的一例的圖。

圖24是將透鏡的焦距和景深的關(guān)系、與進行重新聚焦時的點光源的配置和景深的關(guān)系進行關(guān)聯(lián)來表示的示意圖。

圖25是表示實施方式2涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖26是表示實施方式2的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖27是表示實施方式2的變形例涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖28是表示實施方式3涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖29是表示實施方式3涉及的胚信息表的一例的圖。

圖30是表示實施方式3涉及的焦面決定部的工作的一例的流程圖。

圖31是表示實施方式3的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖32是表示實施方式3的變形例涉及的細胞位置判定部的詳細的功能結(jié)構(gòu)的一例的框圖。

圖33是表示實施方式3的變形例涉及的焦面決定部的工作的一例的流程圖。

圖34是表示實施方式3的變形例涉及的與由焦面決定部進行的細胞配置的決定有關(guān)的處理的流程圖。

圖35a是4細胞期的胚的三維模型的側(cè)視圖。

圖35b是4細胞期的胚的三維模型的側(cè)視圖。

圖35c是4細胞期的胚的三維模型的俯視圖。

圖35d是4細胞期的胚的三維模型的立體圖。

圖36a是4細胞期的胚的三維模型的截面圖。

圖36b是4細胞期的胚的三維模型的截面圖。

圖37是4細胞期的胚的三維模型的立體圖。

圖38是4細胞期的胚的三維模型的截面圖。

圖39是實施方式4的圖像生成系統(tǒng)的功能框圖。

圖40是表示由實施方式4中的合成圖像生成部顯示的合成圖像的一例的圖。

圖41是表示實施方式4中的球圖像生成部的詳細的功能結(jié)構(gòu)的框圖。

圖42是表示實施方式4中的球圖像生成部的具體處理的一例的圖。

圖43是表示實施方式4中的顯示器所顯示的畫面的一例的圖。

圖44是表示實施方式4的圖像生成裝置的工作的一例的流程圖。

圖45是表示圖44的步驟s110中的球圖像的生成的詳細處理的流程圖。

圖46a是表示實施方式4的圖像生成裝置的硬件結(jié)構(gòu)的一例的圖。

圖46b是表示實施方式4的圖像生成裝置所具備的控制電路的工作的一例的流程圖。

標號的說明

10、20、30、40、50圖像生成系統(tǒng)；100a、200a拍攝裝置；100b、200b、300b、400b、500b圖像生成裝置；101多個照明器；101a、101b照明器；101aled光源；101b遮光板；101c針孔；101d準直透鏡；101e光源；101f半球；101g近似點光源；101h平面；101j對焦點；102圖像傳感器；103、203拍攝控制部；110、210、410、510焦面決定部；111第1記錄部；112輸入部；120、320、525存儲部；121第2記錄部；130、230、530重新聚焦處理部；140、540圖像生成部；150顯示部；211、311照明范圍決定部；212、312對象區(qū)域決定部；213、313處理范圍切取部；420胚信息表；430計時部；511水平面決定部；513細胞位置判定部；514位置傾斜決定部；5213d模型數(shù)據(jù)庫；522旋轉(zhuǎn)處理部；5232d化處理部；524比較部；600b圖像生成裝置；610重新聚焦處理部；620球圖像生成部；621輪廓提取部；622同一性判定部；623高度決定部；624形狀決定部；625立體圖像生成部；630合成圖像生成部；710圖像取得部；720早期胚模型；730焦面輸入部；740操作部；760顯示器；1000對象物；1100焦面；1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e點；1103a、1103b交點；1303a交點；3501、3502、3503、3504細胞。

具體實施方式

本公開的一個技術(shù)方案涉及的圖像生成裝置，具備：多個照明器；具有載置對象物的表面的圖像傳感器；以及控制電路，其生成位于所述多個照明器與所述圖像傳感器之間的假想的焦面上的所述對象物的對焦圖像，所述控制電路，(a)使用通過每當所述多個照明器依次照明所述對象物時由所述圖像傳感器進行的拍攝而得到的所述對象物的多個拍攝圖像，生成預先確定的多個焦面的各焦面上的所述對象物的對焦圖像，(b)提取顯現(xiàn)在所生成的多個所述對焦圖像中的所述對象物的至少一個截面的輪廓，(c)基于所述至少一個截面的輪廓，生成至少一個圓周，(d)生成球圖像，所述球圖像是具有所生成的所述至少一個圓周的各圓周的至少一個球的立體圖像，(e)通過對所述球圖像進行加工以使得表現(xiàn)出所述至少一個球的截面，從而生成合成圖像，使所述合成圖像顯示于顯示器。

由此，對象物被模型化為球圖像，例如包括球圖像及其截面的合成圖像被顯示于顯示器。其結(jié)果是，使用者通過觀察該合成圖像，能夠容易地掌握對象物的結(jié)構(gòu)。

另外，所述控制電路也可以，在所述(b)中，從顯現(xiàn)在所生成的多個所述對焦圖像的各對焦圖像中的所述對象物的截面的輪廓中，提取在多個所述對焦圖像的各對焦圖像中位于相同位置且尺寸以及形狀相同的多個輪廓，在所述(c)中，基于所提取出的所述多個輪廓中的具有最大邊緣強度的輪廓來生成圓周。例如，在所述(c)中，所述控制電路生成與具有所述最大邊緣強度的輪廓內(nèi)接或外接的圓周。

由此，能夠適當?shù)靥崛ο笪锏妮喞獊磉m用于圓周，能夠?qū)⒃搱A周利用于對象物的模型化。

另外，所述控制電路也可以，在所述(d)中，生成包含如下球的立體圖像的所述球圖像，所述球與所生成的所述圓周具有相同的中心以及半徑。

由此，能夠針對對象物生成適當?shù)那虻牧Ⅲw圖像。

另外，所述控制電路也可以，在所述(d)中，生成球面互不相交的多個球的立體圖像來作為所述球圖像。

由此，例如能夠?qū)⑴叩臉?gòu)造等模型化成球圖像。

另外，也可以是，所述對象物是胚，所述至少一個球包括外球和至少一個內(nèi)球，所述外球體現(xiàn)胚的外形，所述至少一個內(nèi)球內(nèi)含于所述外球且分別體現(xiàn)細胞的外形。

由此，使用者能夠容易地掌握胚的結(jié)構(gòu)。

另外，所述控制電路還可以，(f)根據(jù)使用者的操作，使正在顯示的所述合成圖像中的所述截面的位置在所述顯示器上變更，(g)根據(jù)來自使用者的請求，使用所述多個拍攝圖像生成與正顯示在顯示器上的所述截面對應的焦面上的所述對象物的對焦圖像，使該對焦圖像顯示于顯示器。

由此，使用者能夠?qū)⒃摵铣蓤D像的截面變更到所希望的位置，能夠使該位置處的對焦圖像顯示。因此，根據(jù)本技術(shù)方案，能夠容易地顯示對象物的使用者希望的截面處的對焦圖像。

另外，本公開的一個技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦面上的所述對象物的對焦圖像，所述多個照明器依次對所述對象物進行照明，每當所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦面的信息，(b)對構(gòu)成所述對焦圖像的多個像素，分別執(zhí)行以下的(c)～(f)，(c)對所述多個照明器的位置，分別執(zhí)行以下的(d)～(f)，(d)計算對象點的位置，所述對象點是連接所述焦面上的所述像素的位置和所述照明器的位置的直線與所述圖像傳感器的受光面交叉的交點，(e)基于所述圖像傳感器的受光面上的所述對象點的位置，計算從所述照明器的位置對所述對象物進行照明時所取得的拍攝圖像中的所述對象點的亮度值，(f)將所述對象點的亮度值適用于所述像素的亮度值，(g)使用所述多個像素各自的亮度值的適用結(jié)果，生成所述焦面上的所述對象物的對焦圖像，(h)輸出所述生成的所述對象物的對焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)⑦B接焦面上的像素的位置和照明器的位置的直線與圖像傳感器的受光面交叉的交點即對象點的亮度值適用于該像素的亮度值。因此，能夠在假想的焦面上的對焦圖像的各像素上反映與該像素對應的多個拍攝圖像的亮度值，能夠生成對象物的高畫質(zhì)的對焦圖像。

本公開的一個技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦面上的所述對象物的對焦圖像，所述多個照明器依次對所述對象物進行照明，每當所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦面的信息，(b)對多個所述拍攝圖像，分別執(zhí)行以下的(c)～(f)，(c)取得與所述拍攝圖像對應的照明器的位置信息，(d)對所述拍攝圖像所包含的多個第1像素，分別執(zhí)行以下的(e)～(f)，(e)計算連接所述圖像傳感器的受光面上的所述第1像素的位置和所述照明器的位置的直線與所述焦面交叉的交點的位置，(f)對構(gòu)成所述對焦圖像的多個第2像素所包含的與所述焦面上的交點的位置對應的一個以上的第2像素的亮度值，適用所述第1像素的亮度值，(g)使用所述多個第2像素的亮度值的適用結(jié)果，生成所述焦面上的所述對象物的對焦圖像，(h)輸出所述生成的所述對象物的對焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)εc連接圖像傳感器的受光面上的第1像素的位置和照明器的位置的直線與焦面交叉的交點的位置對應的對焦圖像的一個以上的第2像素的亮度值，適用拍攝圖像的第1像素的亮度值。因此，能夠?qū)⑴臄z圖像的各像素的亮度值反映于對焦圖像的像素的亮度值，能夠生成對象物的高畫質(zhì)的對焦圖像。

例如，也可以是，所述多個照明器分別具備光源和遮光板，所述遮光板位于所述光源與所述對象物之間，并具有針孔，所述多個照明器分別通過所述光源經(jīng)由所述針孔對所述對象物照射漫射光。

根據(jù)本技術(shù)方案，能夠從光源經(jīng)由針孔向?qū)ο笪镎丈渎涔?。因此，能夠防止表示從照明器照射的光的多條光線發(fā)生交錯，能夠使對象物的拍攝圖像的畫質(zhì)提高，也能夠使對焦圖像的畫質(zhì)提高。

例如，也可以是，所述圖像生成系統(tǒng)還具備顯示器，所述顯示器對從所述控制電路輸出的所述對焦圖像進行顯示。

根據(jù)本技術(shù)方案，能夠顯示對焦圖像。

例如，也可以是，進一步，基于所述焦面的信息，決定照明位置的范圍，所述多個照明器中的與所述照明位置的范圍對應的照明器依次對所述對象物進行照明。

根據(jù)本技術(shù)方案，能夠基于焦面的信息來決定照明位置的范圍，通過與所決定出的照明位置的范圍對應的照明器依次對對象物進行照明。因此，能夠使用與焦面上的對焦圖像的生成相適合的照明器來拍攝對象物，能夠縮短拍攝時間。

此外，這些總括性或具體的技術(shù)方案既可以通過裝置、方法、集成電路、計算機程序或計算機可讀取的cd-rom等記錄介質(zhì)來實現(xiàn)，也可以通過裝置、方法、集成電路、計算機程序或記錄介質(zhì)的任意組合來實現(xiàn)。

以下，參照附圖對本公開的一個技術(shù)方案涉及的圖像生成系統(tǒng)進行具體說明。

此外，以下說明的實施方式都表示總括性或具體的例子。以下的實施方式中示出的數(shù)值、形狀、構(gòu)成要素、構(gòu)成要素的配置以及連接形態(tài)、步驟、步驟的順序等是一例，并非限定權(quán)利要求書的意思。另外，關(guān)于以下的實施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨立權(quán)利要求中的構(gòu)成要素，作為任意的構(gòu)成要素進行說明。

(實施方式1)

在實施方式1中，多個照明器依次對位于圖像傳感器上的對象物進行照明，使用通過在每次照明時拍攝對象物而得到的多個拍攝圖像，生成位于多個照明器與圖像傳感器之間的假想的焦面上的對象物的圖像。以下，將該使用多個拍攝圖像生成的圖像也稱為對焦圖像。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖1是實施方式1涉及的圖像生成系統(tǒng)的功能框圖。圖1所示的圖像生成系統(tǒng)10具備拍攝裝置100a、圖像生成裝置100b、存儲部120和顯示部150。圖像生成系統(tǒng)10還可以具有：存儲有預先確定的焦面的信息的第1記錄部111、記錄重新聚焦(refocus)處理完的像素的信息的第2記錄部121、和受理用于指定焦面的指定信息的輸入的輸入部112。

[拍攝裝置的結(jié)構(gòu)]

首先，對拍攝裝置100a的結(jié)構(gòu)進行說明。拍攝裝置100a具備：多個照明器101、圖像傳感器102和拍攝控制部103。拍攝裝置100a取得對象物的拍攝圖像(photographicimage)。在此，拍攝部100不具有聚焦透鏡。

對象物例如是配置在圖像傳感器102上的多個半透明的物質(zhì)。多個物質(zhì)以三維重疊的方式排布。物質(zhì)的具體例子是細胞。

多個照明器101分別是輸出平行光的照明器或者輸出漫射光的照明器。多個照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分別照射不交錯的光。即，表示從第1照明器照射的第1光的多條第1光線互不相交。另外，表示從第2照明器照射的第2光的多條第2光線也互不相交。因此，在從第1照明器和第2照明器的某一方照射了光的情況下，來自第1照明器和第2照明器的該一方的光從單個方向到達圖像傳感器102所包含的一個像素。也就是說，不會是光從2個以上的方向到達一個像素。

以下，將這樣的照明稱為非交錯照明。非交錯照明例如能夠通過平行光或來自點光源的漫射光來實現(xiàn)。多個照明器101依次照射光。多個照明器101配置在互不相同的位置，從互不相同的方向?qū)ο笪镎丈涔狻?/p>

圖像傳感器102具有多個像素。圖像傳感器102的各像素配置于受光面，取得從多個照明器101照射的光的強度。圖像傳感器102基于由各像素取得的光的強度來取得拍攝圖像。

圖像傳感器102的例子是cmos(complementarymetal-oxidesemiconductor，互補金屬氧化物半導體)圖像傳感器或者ccd(chargecoupleddevice)圖像傳感器。

拍攝控制部103控制由多個照明器101進行的光的照射和由圖像傳感器102進行的拍攝。具體而言，拍攝控制部103按照多個照明器101照射光的順序，控制多個照明器101照射光的時間間隔。拍攝控制部103由包括cpu(centralprocessingunit，中央處理單元)、ram(randomaccessmemory，隨機存取存儲器)、rom(read-onlymemory，只讀存儲器)等的計算機系統(tǒng)(未圖示)構(gòu)成。拍攝控制部103的構(gòu)成要素的一部分或者全部的功能可以通過cpu將ram用作工作用的存儲器并執(zhí)行rom所記錄的程序來實現(xiàn)。另外，拍攝控制部103的構(gòu)成要素的一部分或者全部的功能也可以通過專用的硬件電路來實現(xiàn)。

從相對于圖像傳感器102的受光面配置在互不相同的位置的多個照明器101照射的光，相對于受光面以不同的入射角入射。在多個照明器101照射平行光的情況下，多個照明器101照射相對于圖像傳感器102的受光面的入射角互不相同的平行光。例如，如圖2所示，平行光通過使從led光源101a經(jīng)由形成于遮光板101b的針孔101c射出的光被準直透鏡(collimatorlens)101d折射來得到。

圖3是說明多個照明器101的構(gòu)造的一例的示意圖。在圖3的多個照明器101的例子中，照射平行光的多個光源101e相對于圖像傳感器102的受光面以不同的角度進行固定。在圖3的例子中，多個光源101e配置于覆蓋圖像傳感器102的半球101f的內(nèi)面。從多個光源101e到達圖像傳感器102的受光面的光的向受光面入射的入射角互不相同。

圖4是說明多個照明器101的構(gòu)造的另一例的示意圖。在圖4的多個照明器101的例子中，多個近似點光源101g朝向圖像傳感器102側(cè)地配置在與圖像傳感器102的受光面平行的平面101h上的不同位置。來自多個近似點光源101g的光相對于圖像傳感器102的受光面的各像素從不同的方向入射。多個近似點光源101g分別例如通過在led光源101a的附近配置具有針孔101c的遮光板101b來實現(xiàn)。針孔101c的大小通過圖像傳感器102的像素間距、圖像傳感器102與針孔101c的距離、生成對焦圖像的點的距圖像傳感器102的距離來限制。

圖5是說明針孔應滿足的大小的條件的示意圖。在此，d1表示針孔101c的直徑。h1表示從圖像傳感器102的受光面到針孔101c為止的距離。h2表示從圖像傳感器102的受光面到對焦點101j(即，對焦圖像中的任意像素的位于焦面上的點)為止的距離。d2表示從針孔101c透過對焦點到達圖像傳感器102的受光面的光的擴散直徑。p表示圖像傳感器102的像素間距。

此時，理想的是，從針孔101c射出的光通過對焦點101j到達圖像傳感器102的受光面的一個點。即，希望從針孔101c射出的光通過對焦點101j只到達圖像傳感器102的一個像素。因此，希望d2為不超過圖像傳感器的像素間距p的大小。也就是說，如以下的式1所示，d2<p是用于實現(xiàn)非交錯照明的條件。

d1應滿足的條件能夠通過將該式1進行變形來表示為以下的式2。

例如，在像素間距p為0.001mm、從圖像傳感器102的受光面到針孔101c為止的距離h1為2mm、從圖像傳感器102到對焦點101j為止的距離h2為0.1mm的情況下，針孔的直徑d1也可以小于0.19mm。

[圖像生成裝置的結(jié)構(gòu)]

接著，對圖像生成裝置100b的結(jié)構(gòu)進行說明。圖像生成裝置100b通過控制電路來實現(xiàn)。如圖1所示，圖像生成裝置100b具備焦面決定部110、重新聚焦處理部130和圖像生成部140。

焦面決定部110例如通過控制電路或者處理器來實現(xiàn)，決定位于多個照明器101與圖像傳感器102之間的假想的焦面。具體而言，焦面決定部110例如基于記錄在第1記錄部111中的預先確定的焦面的信息來決定焦面。另外，例如，焦面決定部110也可以按照經(jīng)由輸入部112從外部輸入的信息來決定焦面。

存儲部120例如通過半導體存儲器或者硬盤驅(qū)動器等來實現(xiàn)，將由圖像傳感器102拍攝到的圖像與在該拍攝中使用的照明器的位置信息一起進行存儲。

圖6表示存儲部120所存儲的內(nèi)容的一例。按由拍攝部100拍攝到的各圖像文件，存儲有在該圖像文件的取得時所使用的照明器的位置信息。在圖6的例子中，照明器的位置信息表示相對于圖像傳感器102的相對的位置。以下，將該照明器的位置信息也稱為照明位置信息。照明位置信息是與圖像文件的文件id一起存儲的，照明位置信息通過文件id來與圖像數(shù)據(jù)關(guān)聯(lián)。此外，照明位置信息也可以記錄在圖像文件的一部分(例如頭信息)中。

重新聚焦處理部130例如通過控制電路或者處理器來實現(xiàn)，根據(jù)多個圖像、多個照明器101的位置信息、和假想的焦面的信息，計算構(gòu)成該焦面上的對焦圖像的各像素的光的強度。后面敘述該重新聚焦處理的詳細情況。

圖像生成部140例如通過控制電路或者處理器來實現(xiàn)，根據(jù)由重新聚焦處理部130計算出的各像素的亮度值來生成焦面上的對焦圖像。

顯示部150通過顯示器來實現(xiàn)，顯示由圖像生成部140生成的對焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)10的工作進行說明。圖7是表示實施方式1涉及的圖像生成系統(tǒng)10的工作的一例的流程圖。圖8是表示坐標與焦面的關(guān)系的一例的示意圖。

(步驟s1100)

首先，拍攝部100依次使用多個照明器101對對象物進行照明，拍攝該對象物的多個圖像。具體而言，拍攝部100在多個照明器101的各照明器每次對對象物進行照明時，記錄到達圖像傳感器102的受光面的光的強度，由此取得對象物的圖像。所取得的圖像與拍攝時對對象物進行了照明的照明器的位置信息一起由存儲部120存儲。在此，多個照明器101的位置相對于圖像傳感器102是固定的，多個照明器101各自的位置信息被預先確定。后面敘述拍攝處理的詳細情況。

(步驟s1200)

焦面決定部110決定焦面。具體而言，焦面決定部110決定焦面相對于圖像傳感器102的位置以及傾斜(角度)。例如，焦面決定部110可以基于存儲在第1記錄部111中的預先確定的焦面的信息來決定焦面?；蛘?，焦面決定部110也可以基于通過輸入部112從使用者受理的指定焦面的指定信息來決定焦面。

焦面相當于生成對焦圖像的假想的面。也就是說，焦面上的對象物的對焦圖像所包含的多個像素與焦面上的多個點一一對應。

例如，焦面決定部110使用焦面的角度以及位置來決定焦面。焦面的角度以及位置，例如通過圖8所示的xyz空間來定義。

在圖8中，xy平面與圖像傳感器102的受光面一致。z軸與圖像傳感器102的受光面正交。此時，焦面的角度在以圖像傳感器102的受光面的中心為原點的xyz空間中，以相對于x軸以及y軸的角度來定義。焦面的位置由焦面的中心點的坐標來定義。

(步驟s1300)

重新聚焦處理部130，基于多個拍攝圖像、多個照明器101的位置信息和焦面的信息，進行重新聚焦處理，求出焦面上的各點的亮度。后面敘述重新聚焦處理的詳細情況。

(步驟s1400)

圖像生成部140基于通過步驟s1300進行的重新聚焦處理的結(jié)果，生成能夠向顯示器等輸出的圖像數(shù)據(jù)。圖像生成部140將所生成的圖像數(shù)據(jù)輸出給顯示部150。

(步驟s1500)

顯示部150顯示通過步驟s1400生成的圖像。

[拍攝處理]

在此說明步驟s1100的拍攝部100的工作的詳細情況。圖9是表示拍攝裝置100a的工作的一例的流程圖。

(步驟s1110)

拍攝控制部103參照預先確定的多個照明位置、或者通過未圖示的外部輸入指定的多個照明位置的列表(以下，稱為照明位置列表)，判定被從各照明位置進行了照明的對象物的拍攝是否已結(jié)束。多個照明器101與照明位置列表所包含的多個照明位置一一對應。

在此，在基于從照明位置列表所包含的全部照明位置進行的照明的拍攝結(jié)束的情況下(步驟s1110：是)，進入步驟s1200。另一方面，在基于從照明位置列表內(nèi)的任一個照明位置進行的照明的拍攝未結(jié)束的情況下(步驟s1110：否)，進入步驟s1120。

(步驟s1120)

拍攝控制部103從照明位置列表所包含的多個照明位置中選擇尚未進行照明的照明位置，向多個照明器101輸出控制信號。此外，拍攝控制部103在存在多個尚未進行照明的照明位置的情況下，選擇一個照明位置。在照明位置列表中，各照明位置例如由按各照明位置分配的編號來表示?；蛘撸髡彰魑恢美缤ㄟ^圖8所示的xyz空間中的坐標值來表示。照明位置的選擇例如按列表的升序來進行。

(步驟s1130)

多個照明器101按照在步驟s1120中從拍攝控制部103輸出的控制信號，開始向?qū)ο笪锏恼彰鳌Ｒ簿褪钦f，位于通過步驟s1120選擇出的照明位置的照明器開始照射光。

(步驟s1140)

在由照明器對對象物進行照明的期間，圖像傳感器102取得通過從該照明器透過了對象物的光而形成的圖像。

(步驟s1150)

然后，拍攝控制部103向多個照明器101輸出控制信號，停止向?qū)ο笪锏恼彰?。此外，照明的停止也可以不按照來自拍攝控制部103的控制信號來進行。例如，多個照明器101也可以對從開始照明起的時間長度進行計時，在計時得到的時間長度超過了預先確定的時間長度之后主動停止照明。或者，也可以，在步驟s1140中圖像傳感器102結(jié)束了圖像的取得之后，圖像傳感器102，將用于停止照明的控制信號輸出給多個照明器101。

(步驟s1160)

接著，拍攝控制部103將通過步驟s1140取得的圖像和在步驟s1130中使用的照明器的位置信息輸出給存儲部120。并且，存儲部120將圖像數(shù)據(jù)和照明位置的信息進行關(guān)聯(lián)并存儲。在步驟s1160之后，返回到步驟s1110。

通過反復進行從步驟s1110到步驟s1160的處理，從照明位置列表所包含的全部照明位置的照明器依次對對象物照射光，每當對對象物照射光時取得圖像。

[重新聚焦處理]

進一步，說明步驟s1300的重新聚焦處理部130的工作的詳細情況。圖10是表示實施方式1涉及的重新聚焦處理部130的工作的一例的流程圖。圖11～圖15是說明重新聚焦處理的計算方法的具體例子的示意圖。

以下，參照圖11～圖15對圖10的各步驟進行說明。

(步驟s1310)

重新聚焦處理部130從焦面決定部110取得通過步驟s1200決定的焦面的信息。

焦面的信息例如包含焦面的中心的坐標值和表示焦面的傾斜的值。焦面的傾斜例如由焦面和xz平面的交線與x軸所成的角度來表示。另外，例如，焦面的傾斜由焦面和yz平面的交線與y軸所成的角度來表示。焦面的中心的坐標值是與對焦圖像的中心的像素對應的焦面上的點的坐標值。

圖11表示拍攝部100以及對象物1000的xz平面上的截面圖的一例。對象物1000位于照明器101a、101b和圖像傳感器102之間，并且位于圖像傳感器102上。重新聚焦處理部130取得焦面1100的信息。

(步驟s1320)

重新聚焦處理部130判定對于對焦圖像所包含的全部像素是否結(jié)束了重新聚焦處理。在此，重新聚焦處理是指從步驟s1320到步驟s1390的處理。

在對于對焦圖像所包含的全部像素都結(jié)束了重新聚焦處理的情況下(步驟s1320：是)，重新聚焦處理部130結(jié)束重新聚焦處理(進入步驟s1400)。

在對于對焦圖像所包含的任一個像素未結(jié)束重新聚焦處理的情況下(步驟s1320：否)，重新聚焦處理部130繼續(xù)進行重新聚焦處理(進入步驟s1330)。

對焦圖像包含多個像素。對焦圖像所包含的多個像素與焦面上的多個點一一對應。圖12表示與對焦圖像所包含的多個像素對應的、焦面1100上的多個點1102a～1102e。此外，圖12所示的焦面1100上的多個點1102a～1102e是對象物1000上的點，而不在對象物1000上的點也可以與對焦圖像的像素對應。

(步驟s1330)

重新聚焦處理部130從對焦圖像所包含的多個像素中選擇一個像素。在此被選的一個像素是對焦圖像所包含的多個像素中的尚未執(zhí)行重新聚焦處理的像素。此外，對焦圖像的像素值的初始值為0。

例如，在圖1所示的第2記錄部121中，存儲有對焦圖像中的已經(jīng)執(zhí)行了重新聚焦處理的像素的信息。在后述的步驟s1390的處理之后，重新聚焦處理部130將進行了重新聚焦處理的像素的信息記錄于第2記錄部121。重新聚焦處理部130參照記錄在第2記錄部121中的像素的信息，選擇尚未執(zhí)行重新聚焦處理的像素。以下，如圖13所示，對選擇了與點1102a對應的像素的情況進行說明。另外，將與點1102a對應的像素也表示為選擇像素。

(步驟s1340)

重新聚焦處理部130判定對全部照明位置的加法運算處理是否已結(jié)束。

在此，在對全部照明位置的加法運算處理已結(jié)束的情況下(步驟s1340：是)，重新聚焦處理部130的處理返回到步驟s1320。

另一方面，在對任一個照明位置的加法運算處理未結(jié)束的情況下(步驟s1340：否)，重新聚焦處理部130繼續(xù)進行加法運算處理(進入步驟s1350)。在此，加法運算處理是指從步驟s1340到步驟s1390的處理。

(步驟s1350)

重新聚焦處理部130從已用于拍攝的全部照明位置中選擇尚未結(jié)束加法運算處理的照明位置。

(步驟s1360)

重新聚焦處理部130計算經(jīng)過所選擇出的照明位置和焦面上的選擇像素的位置的直線與圖像傳感器102的受光面交叉的點的位置。

圖14表示經(jīng)過照明器101a的位置和對應于選擇像素的點1102a的直線1200與圖像傳感器102的受光面交叉的交點1103a。以下，將交點1103a也表示為進行加法運算處理的對象的點即對象點。

圖像傳感器102的受光面上的對象點例如由圖8所示的xy平面上的坐標值來表示。

(步驟s1370)

重新聚焦處理部130從存儲部120中取得與所選擇出的照明位置對應的圖像。也就是說，重新聚焦處理部130從存儲部120中取得使用位于所選擇出的照明位置的照明器拍攝到的圖像。具體而言，重新聚焦處理部130按照圖6所示的照明位置信息與圖像的對應關(guān)系，取得存儲部120所存儲的圖像。例如，重新聚焦處理部130取得與圖13所示的照明器101a的位置對應的圖像。

(步驟s1380)

重新聚焦處理部130決定通過步驟s1360計算出的圖像傳感器102上的對象點的拍攝圖像中的位置。具體而言，重新聚焦處理部130以拍攝圖像的像素的排列為基準來決定拍攝圖像中的對象點的位置。

在拍攝圖像中的對象點的位置位于多個像素的中間位置的情況下，重新聚焦處理部130通過使用與對象點的位置相鄰的多個像素的亮度值進行插值處理，由此計算拍攝圖像中的對象點的亮度值。具體而言，重新聚焦處理部130例如求出與對象點相鄰的多個像素(例如4個像素)的各個像素與對象點的距離，對各像素的亮度值乘以對象點與各像素的距離之比并進行加法運算，由此求出拍攝圖像中的對象點的亮度值。

圖15是用于說明步驟s1380中的對象點的亮度值的計算的示意圖。在圖15中，與對象點相鄰的4個像素即像素a～像素d與對象點的距離分別表示為a、b、c以及d。該情況下，對象點的亮度值lt通過以下的式3來求出。

在此，la、lb、lc以及l(fā)d分別表示像素a、像素b、像素c以及像素d的亮度值。

(步驟s1390)

重新聚焦處理部130對對焦圖像上的選擇像素的亮度值加上通過步驟s1380計算出的對象點的亮度值。

通過反復進行從步驟s1340到步驟s1390的處理，對于全部照明位置，將對選擇像素的亮度值加上所拍攝到的圖像中的對象點的亮度值而得到的結(jié)果計算為選擇像素的亮度值。

通過這樣的加法運算處理，對于焦面上的各點，將通過從多個方向透過了該點的的光形成的多個圖像重疊于對焦圖像的一個像素。

在圖14中，從照明器101a照射的光透過與選擇像素對應的焦面1100上的點1102a到達圖像傳感器102的受光面上的對象點(交點1103a)。因此，在通過照明器101a拍攝到的圖像中的對象點(交點1103a)的位置，包含焦面1100上的點1102a處的圖像。

另外，在圖14中，從照明器101b照射的光透過與選擇像素對應的焦面1100上的點1102a到達圖像傳感器102的受光面上的對象點(交點1103b)。因此，在通過照明器101b拍攝到的圖像中的對象點(交點1103b)的位置，包含焦面1100上的點1102a處的圖像。

通過對這樣的對象點(交點1103a)處的圖像(亮度值)以及對象點(交點1103b)處的圖像(亮度值)進行加法運算，將通過來自多個方向的光形成的多個圖像重疊于對焦圖像的選擇像素。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)，能夠?qū)⑦B接焦面上的像素的位置和照明器的位置的直線與圖像傳感器102的受光面交叉的交點即對象點的亮度值適用于該像素的亮度值。因此，能夠在假想的的焦面上的對焦圖像的各像素上反映與該像素對應的多個拍攝圖像的亮度值，能夠生成對象物的高畫質(zhì)的對焦圖像。

(實施方式1的變形例1)

接著，對實施方式1的變形例1進行說明。在上述實施方式1中，在圖10的步驟s1350中選擇了照明位置，而在本變形例中選擇拍攝圖像。以下，以與實施方式1不同之處為中心來說明實施方式1的變形例1。

圖16是表示實施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。在圖16中，取代圖10中的步驟s1340～步驟s1390而執(zhí)行步驟s1341～步驟s1390。此外，在圖16中，對與圖10實質(zhì)上相同的步驟標注相同的標號，適當省略說明。

在圖16中，在全部拍攝圖像都被用于加法運算處理的情況下(步驟s1341：是)，返回到步驟s1320。另一方面，在拍攝圖像的任一個未被用于加法運算處理的情況下(步驟s1341：否)，進入步驟s1351。重新聚焦處理部130選擇存儲部120所存儲的拍攝圖像中的一個拍攝圖像(步驟s1351)。在此，選擇尚未被用于加法運算處理的拍攝圖像。

重新聚焦處理部130從存儲部120中取得與通過步驟s1351選擇出的拍攝圖像對應的照明位置信息(步驟s1359)。然后，除了沒有通過步驟s1370取得圖像的工作之外，與圖10所示的工作相同。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，即使將照明位置的選擇替換為拍攝圖像的選擇，也能夠與實施方式1同樣地，對對焦圖像的各像素適用與該像素對應的多個拍攝圖像的亮度值，能夠生成對象物的高畫質(zhì)的對焦圖像。

(實施方式1的變形例2)

接著，對實施方式1的變形例2進行說明。在上述實施方式1中，在圖10的步驟s1320以及步驟s1330中，依次選擇了對焦圖像內(nèi)的像素，而在本變形例中，依次選擇拍攝圖像內(nèi)的像素。也就是說，在本變形例中，與上述實施方式1不同之處在于：首先選擇拍攝圖像內(nèi)的像素，然后決定與該選擇出的像素對應的焦面上的點。在與如此決定出的焦面上的點對應的對焦圖像內(nèi)的像素上反映拍攝圖像內(nèi)被選擇出的像素的亮度值。以下，以與實施方式1不同之處為中心來說明實施方式1的變形例2。

圖17是表示實施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。在圖17中，對與圖10實質(zhì)上相同的步驟標注相同的標號，適當省略說明。

(步驟s1322)

重新聚焦處理部130判定對于通過步驟s1100拍攝到的全部圖像是否結(jié)束了重新聚焦處理。重新聚焦處理是指從步驟s1322到步驟s1392的處理。在對于全部圖像都已經(jīng)結(jié)束了重新聚焦處理的情況下(步驟s1322：是)，重新聚焦處理部130進入步驟s1400。在對于通過步驟s1100拍攝到的圖像的任一個圖像未結(jié)束重新聚焦處理的情況下(步驟s1322：否)，進入步驟s1332。

(步驟s1332)

重新聚焦處理部130從存儲在存儲部120中的通過步驟s1100拍攝到的圖像中選擇一個拍攝圖像(步驟s1332)。在此被選擇的一個拍攝圖像是尚未進行重新聚焦處理的圖像。以下，將通過步驟s1332選擇出的一個圖像稱為選擇圖像。

(步驟s1333)

重新聚焦處理部130取得與選擇圖像對應的照明位置信息。例如，重新聚焦處理部130參照圖6所示的圖像與照明位置信息的對應關(guān)系來取得照明位置信息。在此，對取得了照明器101a的位置信息的情況進行說明。

(步驟s1342)

重新聚焦處理部130對于選擇圖像的全部像素判定是否結(jié)束了加法運算處理(步驟s1342)。在此，在對于選擇圖像的全部像素都結(jié)束了加法運算處理的情況下(步驟s1342：是)，結(jié)束加法運算處理并返回到步驟s1322。另一方面，在對于選擇圖像的任一個像素未結(jié)束加法運算處理的情況下(步驟s1342：否)，進入步驟s1352。加法運算處理是指從步驟s1342到步驟s1392的處理。

(步驟s1352)

重新聚焦處理部130對選擇圖像中的一個像素進行選擇。在此被選擇的一個像素是尚未進行加法運算處理的像素。

圖18中示出與選擇圖像所包含的多個像素對應的受光面上的多個點1302a～1302e。在此，如圖19所示，對從選擇圖像中選擇出與受光面上的點1302a對應的像素的情況進行說明。此外，以后，將通過步驟s1352選擇出的像素也表示為加法運算像素。

(步驟s1372)

如圖19所示，重新聚焦處理部130計算連接受光面上的點1302a和照明器101a的位置的直線與焦面1100交叉的交點1303a的位置。以下，將交點1303a也表示為加法運算點。

(步驟s1382)

重新聚焦處理部130對與焦面上的加法運算點(交點1303a)對應的對焦圖像內(nèi)的一個以上的像素的亮度值加上與受光面上的點1302a對應的選擇圖像內(nèi)的加法運算像素的亮度值。

例如，在對焦圖像中，在交點1303a的位置與任何像素(整數(shù)像素)的位置都不一致的情況下，重新聚焦處理部130分別計算用于加到在對焦圖像上與交點1303a相鄰的多個像素上的亮度值。具體而言，重新聚焦處理部130以對焦圖像的像素的排列為基準，決定與通過步驟s1372計算出的焦面上的加法運算點(交點1303a)對應的對焦圖像內(nèi)的位置。

例如，如圖20那樣將在對焦圖像中被4個像素(像素a～像素d)包圍的位置決定為加法運算點的位置。該情況下，重新聚焦處理部130計算在對焦圖像中與加法運算點相鄰的各像素(像素a～像素d)和加法運算點之間的距離。重新聚焦處理部130使用所計算出的距離和加法運算像素的亮度值，計算用于加到與加法運算點相鄰的各像素上的亮度值。例如，重新聚焦處理部130以使得在對焦圖像內(nèi)與加法運算點相鄰的像素和加法運算點之間的距離相對越大的像素則亮度值就相對越大的方式，計算用于加到各像素上的亮度值。具體而言，重新聚焦處理部130例如根據(jù)以下的式4來計算用于加到像素a上的亮度值la。

在此，a是對焦圖像中的像素a與加法運算點之間的距離。b是對焦圖像中的像素b與加法運算點之間的距離。c是對焦圖像中的像素c與加法運算點之間的距離。d是像素d與加法運算點之間的距離。l是拍攝圖像所包含的加法運算像素的亮度值。

(步驟s1392)

重新聚焦處理部130對對焦圖像中的一個以上的像素的亮度值加上通過步驟s1382計算出的亮度值。

通過反復進行從步驟s1342到步驟s3192的處理，能夠使選擇圖像中的全部像素的亮度值反映于對焦圖像的像素的亮度值。

進一步，通過反復進行從步驟s1322到步驟s1392，對全部拍攝圖像中的全部像素進行加法運算處理，能夠生成焦面上的對焦圖像。

參照圖21來說明圖17的流程圖中的各步驟的具體例子。在此，對圖像傳感器102以及焦面等滿足以下條件的情況進行說明。圖像傳感器102的受光面的長邊(即與x軸平行的邊)的長度為6mm，受光面的短邊(即與y軸平行的邊)的長度為4mm。焦面相對于x軸的傾斜為30度。焦面相對于y軸的傾斜為0度。焦面的面積與圖像傳感器102的受光面的面積相同。即，焦面是6mm×4mm的矩形的平面。焦面的一個短邊如圖21那樣位于yz平面上，與y軸平行地延伸。焦面的另一個短邊位于xy平面上，x坐標在約5.2mm的位置，與y軸平行地延伸。焦面的中心的坐標(x，y，z)為(2.6，2，1.5)。

在此，設為：通過步驟s1332選擇了圖像，通過步驟s1333取得了與圖像對應的照明位置(7.5，2，10)，通過步驟s1352選擇了加法運算像素(1.7，2，0)。該情況下，在步驟s1372中，計算通過加法運算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直線與焦面交叉的交點即加法運算點的坐標(2.6，2，1.5)。然后，在步驟s1382中，對對焦圖像中的加法運算點的附近的像素的亮度值分配加法運算像素的亮度值并進行加法運算。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，能夠?qū)εc連接圖像傳感器102的受光面上的第1像素的位置和照明器的位置的直線與焦面交叉的交點的位置對應的對焦圖像的一個以上的第2像素的亮度值適用拍攝圖像的第1像素的亮度值。因此，能夠?qū)⑴臄z圖像的各像素的亮度值反映于對焦圖像的像素的亮度值，能夠生成對象物的高畫質(zhì)的對焦圖像。

(實施方式2)

接著，對實施方式2進行說明。在實施方式2中，與實施方式1不同之處在于：根據(jù)所決定出的焦面適應性地決定照明位置，使用位于所決定出的照明位置的照明器來拍攝對象物。以下，以與實施方式1不同之處為中心來說明實施方式2。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖22是表示實施方式2涉及的圖像生成系統(tǒng)20的功能結(jié)構(gòu)的框圖。在圖22中，對與圖1實質(zhì)上相同的構(gòu)成要素標注相同的標號，適當省略說明。

圖像生成系統(tǒng)20具備拍攝裝置200a、圖像生成裝置200b、存儲部120和顯示部150。

[拍攝裝置的結(jié)構(gòu)]

拍攝裝置200a具備多個照明器101、按各像素記錄光的強度的圖像傳感器102、和拍攝控制部203。

拍攝控制部203按照從后述的照明范圍決定部211取得的照明范圍信息，控制多個照明器101以及圖像傳感器102的工作。具體而言，拍攝控制部203從位于不同位置的多個照明器101依次照射光。并且，每當從多個照明器101的任一個照明器照射光時，使圖像傳感器102拍攝對象物的圖像。

拍攝控制部203也可以與實施方式1的拍攝控制部103同樣地，例如由包括cpu、ram、rom等的計算機系統(tǒng)(未圖示)構(gòu)成。拍攝控制部203的構(gòu)成要素的一部分或者全部的功能可以通過cpu將ram用作工作用的存儲器并執(zhí)行rom所記錄的程序來實現(xiàn)。另外，拍攝控制部203的構(gòu)成要素的一部分或者全部的功能也可以通過專用的硬件電路來實現(xiàn)。

[圖像生成裝置的結(jié)構(gòu)]

圖像生成裝置200b具備焦面決定部210、照明范圍決定部211、重新聚焦處理部130和圖像生成部140。

焦面決定部210例如通過控制電路或者處理器來實現(xiàn)，決定位于多個照明器101和圖像傳感器102之間的假想的焦面。具體而言，焦面決定部210基于預先確定的焦面的信息來決定焦面。另外，例如，焦面決定部210也可以按照從外部輸入的信息來決定焦面。

照明范圍決定部211決定與由焦面決定部210決定出的焦面對應的照明位置。在此，參照圖23以及圖24來說明決定照明位置的具體例子。

圖23是示意性表示實施方式2中的照明位置的決定方法的說明圖。圖24是將透鏡的焦距和景深的關(guān)系、與進行重新聚焦時的點光源的配置和景深的關(guān)系進行關(guān)聯(lián)來表示的示意圖。圖24的(a)示出透鏡的焦距和景深的關(guān)系，圖24的(b)示出進行重新聚焦時的點光源的配置和景深的關(guān)系。

在圖24中，f表示透鏡的焦距。s表示被拍攝對象距離。t表示從透鏡到成像面的距離。f表示f數(shù)。ε表示焦深的1/2。δ表示容許彌散圓直徑。sn表示近點距離。sf表示遠點距離。dn表示前景深。df表示后景深。

因重新聚焦得到的景深由照明位置的分布范圍的面積來決定。在圖24的(b)中，由虛線表示的照明位置的分布范圍與圖24的(a)的透鏡直徑對應。在圖24的(a)所示的透鏡的情況下，在被拍攝對象(subject)表面反射的光通過透鏡并在焦面(focalplane)上成像。景深(depthoffield)是前景深dn與后景深df之和。在本公開中，由于是透射光的拍攝下的重新聚焦，所以與圖24的(a)的被拍攝對象的位置相當?shù)氖墙姑妗Ｔ趫D24的(b)中，圖像傳感器相比于焦面位于左側(cè)。在本實施方式中，在相比于點光源的排列位于圖中右側(cè)的位置，實際上什么也沒有，但通過作為彌散圓而設定圖像傳感器的像素間距，能夠計算景深。

例如，圖23所示的用于生成焦面的對焦圖像所需要的照明位置的范圍，如圖24所示，與平行于焦面地設置的透鏡的大小對應。若使用透鏡，則為了觀測放置于焦點位置的被拍攝對象，需要在與拍攝對象相距5mm的位置放置的直徑10mm的透鏡直徑的情況下的照明位置的范圍，由如下的圓來表示。也就是說，照明位置的范圍如圖23那樣由與焦面平行、與焦面相距5mm、且以經(jīng)過焦面中心的焦面的法線與平行于焦面的平面交叉的交點為中心的直徑10mm的圓來表示。在實際的點光源的配置平面或者曲面(例如，圖3所示的曲面、圖4所示的平面)上，配置在對該照明位置的范圍進行了映射的區(qū)域內(nèi)的照明器的位置成為與由焦面決定部210決定出的焦面相適合的照明位置。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)20的工作進行說明。

圖25是表示實施方式2涉及的圖像生成系統(tǒng)20的工作的一例的流程圖。在圖25中，對與圖7實質(zhì)上相同的步驟標注相同的標號，適當省略說明。

如圖25所示，首先，焦面決定部210決定焦面(步驟s1200)。

照明范圍決定部211決定與通過步驟s1200決定出的焦面對應的照明位置的范圍(步驟s2200)。

拍攝裝置200a依次使用多個照明器101中的與通過步驟s2200決定出的照明位置的范圍對應的照明器，對對象物進行照明。并且，每當照明器對對象物進行照明時，拍攝裝置200a通過對到達了圖像傳感器102的受光面的光的強度進行記錄，由此取得對象物的圖像。所取得的圖像與拍攝時對對象物進行了照明的照明器的位置信息一起存儲于存儲部120(步驟s2300)。具體而言，拍攝裝置200a的拍攝控制部203基于通過步驟s2200決定出的照明位置的范圍，從多個照明器101中選擇包含在所決定出的照明位置的范圍內(nèi)的2個以上的照明器。并且，拍攝控制部203按預先確定的順序使所選擇出的2個以上的照明器照射光，使圖像傳感器102進行拍攝。拍攝裝置200a通過反復進行對對象物的照明和對象物的拍攝，使用所決定出的照明位置的范圍內(nèi)的照明器來取得對象物的圖像。這之后的工作基本上與實施方式1的圖7同樣，因此省略說明。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)，能夠基于焦面的信息來決定照明位置的范圍，通過與所決定出的照明位置的范圍對應的照明器依次對對象物進行照明。因此，能夠使用與焦面上的對焦圖像的生成相適合的照明器來拍攝對象物，能夠縮短拍攝時間。

(實施方式2的變形例)

接著，對實施方式2的變形例進行說明。在本變形例中，與實施方式2不同之處在于：使用預先取得的引導圖像(pilotimage)來決定對象區(qū)域，基于該對象區(qū)域來決定照明位置的范圍。以下，以與實施方式2不同之處為中心來說明實施方式2的變形例。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖26是表示實施方式2的變形例涉及的圖像生成系統(tǒng)30的功能結(jié)構(gòu)的框圖。在圖26中，對與圖22實質(zhì)上相同的構(gòu)成要素標注相同的標號，適當省略說明。

圖像生成系統(tǒng)30具備拍攝裝置200a、圖像生成裝置300b、存儲部320和顯示部150。

拍攝裝置200a具備多個照明器101、圖像傳感器102和拍攝控制部203。在本變形例中，拍攝裝置200a在依次使用與所決定出的照明位置的范圍對應的照明器來拍攝對象物之前，通過使用預先確定的照明器拍攝對象物來取得引導圖像。引導圖像被存儲于存儲部320，并顯示于顯示部150。

圖像生成裝置300b具備焦面決定部210、照明范圍決定部311、對象區(qū)域決定部312、處理范圍切取部313、重新聚焦處理部230和圖像生成部140。

對象區(qū)域決定部312基于通過外部輸入而指定的區(qū)域或者通過預先確定的方法而指定的區(qū)域，決定引導圖像內(nèi)的對象區(qū)域。

照明范圍決定部311基于由焦面決定部210決定出的焦面以及由對象區(qū)域決定部312決定出的對象區(qū)域，決定照明位置的范圍。

存儲部320將由圖像傳感器102拍攝到的圖像與在該圖像的拍攝中使用的照明器的位置信息一起進行存儲。進而，存儲部320將在由預先確定的照明器進行照明時所拍攝到的圖像存儲為引導圖像。該引導圖像被輸出到對象區(qū)域決定部212。

處理范圍切取部313從存儲部320所存儲的多個圖像中分別切取與由對象區(qū)域決定部312決定出的對象區(qū)域?qū)膮^(qū)域。并且，處理范圍切取部313將所切取出的圖像與照明位置信息一起輸出給重新聚焦處理部230。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)30的工作進行說明。

圖27是表示圖像生成系統(tǒng)30的工作的一例的流程圖。如圖27所示，首先，拍攝部200的拍攝控制部203使用預先確定的照明器(例如，位于坐標(0，0)的位置的照明器)對對象物進行照明，通過檢測到達了圖像傳感器102的受光面的光的強度來取得引導圖像。引導圖像被存儲于存儲部320(步驟s2010)。存儲部320將通過步驟s2010拍攝到的引導圖像輸出到顯示部150，顯示部150顯示引導圖像(步驟s2020)。

使用者對通過步驟s2020顯示的引導圖像，指定想要生成對焦圖像的區(qū)域。對象區(qū)域決定部212基于由使用者指定的區(qū)域，來決定對象區(qū)域(步驟s2030)。

此外，在本變形例中，顯示引導圖像并從使用者受理針對引導圖像的區(qū)域的指定輸入，但不限定于此。例如，對象區(qū)域決定部312也可以在引導圖像中進行對象物的識別處理，基于識別結(jié)果來決定對象區(qū)域。對象物的識別處理例如基于預先確定的顏色和/或輪廓等特征來進行。在通過對象物的識別處理提取出了多個區(qū)域的情況下，對象區(qū)域決定部312例如可以基于圖像中的區(qū)域的位置，從所提取出的多個區(qū)域中選擇至少一個區(qū)域來作為對象區(qū)域，也可以將所提取出的多個區(qū)域全部決定為對象區(qū)域。

焦面決定部210決定焦面(步驟s2100)。照明范圍決定部311基于通過步驟s2030決定出的對象區(qū)域和通過步驟s2100決定出的焦面，決定照明位置的范圍(步驟s2210)。具體而言，照明范圍決定部211取代使用圖23中的焦面的中心而使用對象區(qū)域的中心來決定照明位置的范圍。之后的步驟與圖25實質(zhì)上相同，因此省略說明。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)30，能夠除焦面之外還基于對象區(qū)域來決定照明位置的范圍，能夠進一步縮短拍攝時間。

(實施方式3)

接著，對實施方式3進行說明。實施方式3與實施方式1不同之處在于：基于對象物的狀態(tài)來決定焦面。例如，在本實施方式中，在如受精卵或早期胚那樣對象物的狀態(tài)隨著培養(yǎng)時間發(fā)生變化的情況下，基于與培養(yǎng)時間對應的對象物的狀態(tài)來決定焦面的數(shù)量以及角度。以下，以與實施方式1不同之處為中心來說明實施方式3。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖28是表示實施方式3涉及的圖像生成系統(tǒng)40的功能結(jié)構(gòu)的框圖。在圖28中，對與圖1實質(zhì)上相同的構(gòu)成要素標注相同的標號，適當省略說明。

圖像生成系統(tǒng)40具備拍攝裝置100a、圖像生成裝置400b、存儲部120和顯示部150。圖像生成裝置400b具備焦面決定部410、胚信息表420、計時部430、重新聚焦處理部130和圖像生成部140。

在胚信息表420中記錄有培養(yǎng)時間和與該培養(yǎng)時間對應的胚的狀態(tài)以及焦面的信息。圖29表示胚信息表420的一例。在圖29的例子中，在胚信息表420中，按培養(yǎng)時間記錄有胚的狀態(tài)和焦面的數(shù)量。

計時部430對從開始對象物培養(yǎng)的時刻起的經(jīng)過時間(即培養(yǎng)時間)進行計測。

焦面決定部410從胚信息表420中取得與由計時部430計測到的培養(yǎng)時間對應的焦面的數(shù)量。并且，焦面決定部410在圖像傳感器102與多個照明器101之間決定與取得的數(shù)量相同數(shù)量的焦面。具體而言，焦面決定部410決定從胚信息表420得到的數(shù)量的以外部輸入的角度或者預定的角度傾斜的焦面。在對象物為早期胚的情況下，例如決定互相平行的多個焦面。因為早期胚的大小約為100μm，所以將焦面之間的距離決定為以與從胚信息表420得到的數(shù)量相同數(shù)量的焦面對100μm的高度進行等分。例如，在焦面的數(shù)量為2的情況下，2個焦面之間的距離被決定為33μm。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)40的工作進行說明。

圖像生成系統(tǒng)40的工作除了步驟s1200的決定焦面的工作之外，與實施方式1的圖7實質(zhì)上相同，因此僅說明步驟s1200的詳細情況，關(guān)于其他的工作省略說明。

圖30是表示實施方式3涉及的焦面決定部410的工作的一例的流程圖。

首先，焦面決定部410從計時部430取得培養(yǎng)時間(步驟s1210)。接著，焦面決定部410參照胚信息表420，取得與通過步驟s1210取得的培養(yǎng)時間對應的焦面的數(shù)量(步驟s1220)。焦面決定部410基于通過步驟s1220取得的焦面的數(shù)量，決定各焦面的中心的高度(即如圖8那樣定義的xyz空間中的z坐標值)(步驟s1230)。在本實施方式中，在生成多個焦面的各焦面上的對焦圖像時，考慮到使用者易于理解，全部焦面都平行配置。此外，多個焦面的角度、配置不限于此。

進一步，焦面決定部410基于經(jīng)由未圖示的輸入單元輸入的焦面的傾斜的信息、或預定的焦面的傾斜的信息，決定焦面的相對于x軸的角度和相對于y軸的角度(步驟s1240)。以通過步驟s1230決定出的焦面的中心位置為旋轉(zhuǎn)中心，以通過步驟s1240決定出的角度傾斜地假想配置各焦面，由此決定焦面(步驟s1250)。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)40，能夠根據(jù)對象物的狀態(tài)來決定焦面的數(shù)量，能夠生成適合于觀察對象物的對焦圖像。

(實施方式3的變形例)

在實施方式3的變形例中，與上述實施方式3不同之處在于：首先，在與圖像傳感器的受光面平行的焦面上生成對焦圖像，根據(jù)生成的對焦圖像中的對象物(例如細胞)的立體的配置，自動地決定其他焦面。以下，以與實施方式3不同之處為中心來說明實施方式3的變形例。

圖31是表示實施方式3的變形例涉及的圖像生成系統(tǒng)50的功能結(jié)構(gòu)的框圖。此外，在圖31中，拍攝裝置100a與圖28相同，因此省略其記載。另外，在圖31中，對與圖28實質(zhì)上相同的構(gòu)成要素標注相同的標號，適當省略說明。

圖像生成裝置500b具備焦面決定部510、胚信息表420、計時部430、重新聚焦處理部530和圖像生成部540。焦面決定部510具備水平面決定部511、細胞位置判定部513和位置傾斜決定部514。

水平面決定部511參照胚信息表420，決定與從計時部430取得的培養(yǎng)時間對應的焦面的數(shù)量。水平面決定部511基于所決定出的焦面的數(shù)量，決定用于決定焦面的位置和傾斜的、與圖像傳感器102的受光面平行的水平面的數(shù)量和該水平面在z軸上的位置。

細胞位置判定部513對圖像生成部540生成的與受光面平行的水平面上的對焦圖像和根據(jù)三維模型生成的截面圖像進行比較，根據(jù)比較結(jié)果來判定三維坐標上的細胞的配置。

在此，參照圖32對細胞位置判定部513的詳細結(jié)構(gòu)進行說明。

圖32是表示細胞位置判定部513的詳細的功能結(jié)構(gòu)的框圖。細胞位置判定部513具備3d模型數(shù)據(jù)庫(db)521、旋轉(zhuǎn)處理部522、2d化處理部523、比較部524和存儲部525。

3d模型數(shù)據(jù)庫521保持有對象物的狀態(tài)(在此為早期胚的各細胞期的三維模型)。早期胚的三維模型示出在球狀的胚膜中包含有與細胞期對應的數(shù)量的大致球狀的細胞的狀態(tài)。

旋轉(zhuǎn)處理部522使3d模型數(shù)據(jù)庫521所保持的三維模型以預定的角度進行旋轉(zhuǎn)。

2d化處理部523使用旋轉(zhuǎn)處理部522進行了旋轉(zhuǎn)后的三維模型，生成由水平面決定部511決定出的水平面上的截面圖像。

比較部524對圖像生成部540生成的水平面上的對焦圖像與2d化處理部523根據(jù)三維模型生成的截面圖像進行比較。一邊改變旋轉(zhuǎn)處理部522中的旋轉(zhuǎn)角度、一邊反復進行該比較。其結(jié)果是，求出表示對焦圖像與截面圖像的差異的值變?yōu)楸阮A定的閾值小的旋轉(zhuǎn)角度。

存儲部525存儲表示比較部524進行了比較的2個圖像的差異的值變?yōu)楸乳撝敌〉?、旋轉(zhuǎn)處理部522中的旋轉(zhuǎn)角度。

位置傾斜決定部514基于細胞位置判定部513判定出的三維坐標上的細胞的配置和水平面決定部511決定出的焦面的數(shù)量，決定各焦面的中心點在z軸上的位置和各焦面相對于x軸以及y軸傾斜的值。

重新聚焦處理部530根據(jù)由拍攝部100拍攝到的多個圖像，進行針對由水平面決定部511決定出的平面或由位置傾斜決定部514決定出的焦面的重新聚焦處理。

圖像生成部540使用重新聚焦處理部530生成的各像素的亮度值來生成對焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)50的工作進行說明。

圖像生成系統(tǒng)50的工作除步驟s1200之外與實施方式1的圖7實質(zhì)上相同，因此僅說明步驟s1200的詳細情況，關(guān)于其他工作省略說明。

圖33是表示實施方式3的變形例涉及的焦面決定部510的工作的一例的流程圖。

首先，焦面決定部510的水平面決定部511從計時部430取得培養(yǎng)時間(步驟s1210)。接著，水平面決定部511參照胚信息表420，取得與通過步驟s1210取得的培養(yǎng)時間對應的焦面的數(shù)量(步驟s1220)。水平面決定部511決定與通過步驟s1220取得的焦面的數(shù)量相同數(shù)量的水平面各自的z軸位置(步驟s1231)。在本變形例中，通過將根據(jù)三維模型生成的多個截面圖像與多個水平面上的對焦圖像進行比較，決定用于圖像生成系統(tǒng)50輸出的對焦圖像的焦面的角度。在圖29所示的胚信息表中，作為焦面的數(shù)量，對原核期胚和2細胞期胚記錄有“1”。因此，在步驟s1231中，決定與參照胚信息表420得到的焦面的數(shù)量相同數(shù)量的水平面的z軸位置。

此外，水平面的數(shù)量也可以與焦面的數(shù)量不一致。該情況下，在胚信息表420中除了焦面的數(shù)量之外還記錄有用于判定細胞配置的水平面的數(shù)量即可。另外，也可以如實施方式2的變形例那樣取得引導圖像，并基于引導圖像的狀態(tài)來決定水平面的數(shù)量。

因為早期胚的大小為直徑約100μm，所以水平面的z軸位置例如被決定成使得100μm的高度被與從胚信息表420得到的數(shù)量相同數(shù)量的水平面等分。胚沉浸在培養(yǎng)液中，與圖像傳感器102的受光面上接觸。因此，例如在水平面的數(shù)量為2個的情況下，2個水平面的z軸位置為33μm和66μm。

重新聚焦處理部530針對通過步驟s1231決定出的z軸位置處的水平面進行重新聚焦處理。圖像生成部540使用重新聚焦處理部530計算出的各像素的亮度值來生成對焦圖像(步驟s1232)。

細胞位置判定部513將通過步驟s1232生成的對焦圖像與根據(jù)早期胚的三維模型生成的截面圖像進行比較，由此決定細胞的配置和從適合于觀察早期胚的細胞的配置(以下，稱為基準位置)起的早期胚的旋轉(zhuǎn)角度(步驟s1241)。后面敘述步驟s1241的詳細情況。

位置傾斜決定部514基于通過步驟s1241決定出的細胞的配置和旋轉(zhuǎn)角度，以使焦面與基準位置處的水平面一致的方式?jīng)Q定焦面的角度(步驟s1242)。例如，將以通過步驟s1241判定出的旋轉(zhuǎn)角度的反向的旋轉(zhuǎn)角度使拍攝時的坐標上的水平面旋轉(zhuǎn)而得到的平面的角度決定為焦面的角度。

接著，位置傾斜決定部514決定與通過步驟s1220由水平面決定部511取得的數(shù)量相同數(shù)量的焦面在z軸上的位置。z軸位置例如被決定為使得對象物整體的z軸方向的大小被等分。

位置傾斜決定部514使用通過步驟s1242決定出的角度和z軸位置來決定全部焦面(步驟s1250)。

在本變形例中，全部焦面作為互相平行的焦面進行了說明，但也可以以不同的角度進行配置。例如，多個焦面也可以以某坐標點為中心而點對稱地配置。也可以：根據(jù)從圖像傳感器正上方拍攝的拍攝結(jié)果，決定圖像傳感器的受光面上的胚的中心點，由于胚的直徑約為100μm，因此使用從圖像傳感器的受光面上的胚的中心點向z軸方向偏移50μm的高度位置作為旋轉(zhuǎn)中心來配置焦面。

接著，參照圖34對圖33的步驟s1241的詳細情況進行說明。圖34是表示與實施方式3的變形例涉及的由焦面決定部510決定細胞配置有關(guān)的處理的流程圖。

細胞位置判定部513的旋轉(zhuǎn)處理部522，從水平面決定部511取得早期胚的狀態(tài)、水平面的數(shù)量、水平面的z軸位置的信息(步驟s12411)。旋轉(zhuǎn)處理部522針對3d模型數(shù)據(jù)庫521所保持的模型中的、與通過步驟s12411取得的胚的狀態(tài)的信息對應的三維模型的全部，判定是否進行了比較處理(步驟s12412)。比較處理是指從步驟s12413到步驟s12418的一系列的處理。

在此，在對于與胚的狀態(tài)的信息對應的三維模型全都進行了比較處理的情況下(步驟s12412：是)，進入步驟s1242。另一方面，在對于與胚的狀態(tài)的信息對應的三維模型的某一個尚未進行比較處理的情況下(步驟s12412：否)，進入步驟s12413。

選擇與通過步驟s12411取得的胚的狀態(tài)的信息對應的三維模型中的一個三維模型(步驟s12413)。在此被選擇的三維模型是尚未進行比較處理的三維模型。

三維模型按胚的各狀態(tài)，以三維方式來表現(xiàn)胚中的細胞的配置。三維模型以能夠旋轉(zhuǎn)的狀態(tài)進行保持，不旋轉(zhuǎn)的基準位置被設定成使與xy平面即受光面平行的平面上的細胞的截面成為最適合觀察細胞的截面。圖35a～圖35d表示4細胞期的胚的三維模型的一例。在圖35a～圖35d的三維模型中，在z軸方向上的低的位置處2個細胞(第1細胞3501和第2細胞3502)并排，在高的位置處2個細胞(第3細胞3503和第4細胞3504)并排。連接第1細胞3501和第2細胞3502的中心點的直線與連接第3細胞3503和第4細胞3504的中心點的直線在映射到xy平面上的情況下正交。當俯視三維模型時成為圖35d那樣。

圖36a以及圖36b是圖35a的截面線xxviii以及圖35b的截面線xxix處的三維模型的截面圖。在與xy平面平行的面上并排的2個細胞的對(pair)在z軸方向上成為2層。在該例子中，經(jīng)過第1細胞3501以及第2細胞3502的中心點的直線和經(jīng)過第3細胞3503以及第4細胞3504的中心點的直線處于扭轉(zhuǎn)的位置。圖35a～圖36b示出了基準位置時的三維模型。也就是說，將第1細胞3501和第2細胞3502在與xy平面平行的平面上并排、且第3細胞3503和第4細胞3504在與xy平面平行的平面上并排的位置設為基準位置。

接著，旋轉(zhuǎn)處理部522針對預定的旋轉(zhuǎn)角度的全部，判定是否對通過步驟s12413選擇出的三維模型的截面圖像與通過步驟s1232生成的水平面上的對焦圖像進行了比較(步驟s12414)。在此，在針對旋轉(zhuǎn)角度全都進行了比較的情況下(步驟s12414：是)，返回到步驟s12412。另一方面，在針對預定的旋轉(zhuǎn)角度的某一個未進行比較的情況下(步驟s12414：否)，進入步驟s12415。

旋轉(zhuǎn)處理部522以預定的旋轉(zhuǎn)角度中的尚未進行比較處理的旋轉(zhuǎn)角度，使通過步驟s12413選擇出的三維模型進行旋轉(zhuǎn)(步驟s12415)。

2d化處理部523針對通過步驟s12415旋轉(zhuǎn)后的三維模型，生成通過步驟s1231決定出的一個以上的平面上的截面圖像(步驟s12416)。圖37是表示使圖35d所示的基準位置時的三維模型以與x軸平行并經(jīng)過胚的中心的軸為旋轉(zhuǎn)中心進行了旋轉(zhuǎn)的結(jié)果的三維模型的立體圖。在圖中由虛線所示的平面上生成截面圖像。如圖38所示，在截面圖像中，左下的細胞的輪廓清楚，在z軸上位于最高的位置處的細胞未顯現(xiàn)，中間的2個細胞的輪廓模糊。2d化處理部523針對旋轉(zhuǎn)后的三維模型，基于指定的平面和景深來生成截面圖像。在此使用的景深等于圖像生成系統(tǒng)50的景深。

比較部524對通過步驟s1232生成的水平面上的對焦圖像和通過步驟s12416生成的截面圖像進行比較，判定表示其差異的值是否比存儲部525所存儲的值小(步驟s12417)。在此，在表示差異的值為存儲部525所存儲的值以上的情況下(步驟s12417：否)，返回到步驟s12414。另一方面，在表示差異的值小于存儲部525所存儲的值的情況下(步驟s12417：是)，進入步驟s12418。此外，在存儲部525中，作為初始值，例如預先存儲有表示差異的值的上限值。

存儲部525存儲表示對焦圖像與截面圖像的差異的值和在步驟s12415中的三維模型的旋轉(zhuǎn)中使用的旋轉(zhuǎn)角度(步驟s12418)。也就是說，存儲部525所存儲的值被更新為表示通過步驟s1232生成的水平面上的對焦圖像與通過步驟s12416生成的截面圖像的差異的值。然后，返回到步驟s12414。

通過反復進行從步驟s12414到步驟s12418的比較處理，能夠求出通過步驟s1232生成的對焦圖像(即根據(jù)拍攝圖像生成的水平面上的對焦圖像)與從基準位置起旋轉(zhuǎn)了多少度后的三維模型的截面圖像接近。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)50，能夠根據(jù)作為對象物的早期胚中的細胞的配置來決定焦面的位置以及角度。因此，能夠生成適合于觀察早期胚的對焦圖像。

(實施方式4)

實施方式4的圖像生成裝置對成為向?qū)У暮铣蓤D像進行顯示，所述向?qū)в糜谧屖褂谜哌x擇所顯示的對焦圖像的焦面。此外，實施方式4的圖像生成裝置與上述實施方式1～3及其變形例的圖像生成裝置100b、200b、300b、400b以及500b同樣地進行重新聚焦處理。

[圖像生成系統(tǒng)]

圖39是實施方式4的圖像生成系統(tǒng)的功能框圖。

實施方式4的圖像生成系統(tǒng)具備圖像生成裝置600b、圖像取得部710、早期胚模型720、焦面輸入部730、操作部740和顯示器760。

圖像取得部710包括實施方式1～3及其變形例中的拍攝裝置以及存儲部。也就是說，圖像取得部710通過每當多個照明器101依次照明對象物時由圖像傳感器102進行的拍攝，取得對象物的多個拍攝圖像并保存于存儲部。

早期胚模型720是保持模型數(shù)據(jù)的記錄介質(zhì)。該模型數(shù)據(jù)示出早期胚的胚膜和內(nèi)含于該胚膜的與培養(yǎng)時間相應的數(shù)量的細胞分別被模型化成球。進而，模型數(shù)據(jù)示出胚膜的球大于細胞的球、且胚膜的球包含該細胞的球，進而，示出胚膜的球的面與細胞的球的面不相交。在實施方式4中，對象物是胚(具體而言是早期胚)，通過早期胚模型720將該胚模型化成至少一個球。

此外，拍攝的對象物例如是配置在圖像傳感器102上的多個半透明的物質(zhì)。對象物的具體例是脊椎動物的受精卵的早期胚、即球狀的胚。在對象物內(nèi)，有時多個物質(zhì)以三維重疊的方式排布。多個物質(zhì)的具體例子是球狀的細胞。以下，使用早期胚來說明實施方式4。此外，拍攝的對象物的形狀不限定于球形狀，可以是任何形狀。例如，拍攝的對象物的形狀也可以是多面體。多個物質(zhì)的形狀不限定于球形狀，可以是任何形狀。例如，多個物質(zhì)的形狀也可以是多面體。拍攝的對象物優(yōu)選在被拍攝時形成為例如透明或者半透明以使得該對象物的內(nèi)部的多個物質(zhì)也被拍攝。多個物質(zhì)優(yōu)選形成為例如透明或者半透明以使得照明器101的光透射，但也可以具有透明以及半透明以外的結(jié)構(gòu)。另外，對象物也可以不包含多個物質(zhì)，還可以僅包含一個物質(zhì)。

顯示器760例如包括液晶顯示器或有機el(electroluminescence)顯示器等，對對焦圖像以及成為上述向?qū)У暮铣蓤D像進行顯示。

焦面輸入部730受理來自使用者的重新聚焦處理的請求、即受理對焦圖像的生成請求。

操作部740受理由使用者進行的顯示器760的畫面的操作。

如上所述，圖像生成裝置600b進行重新聚焦處理并生成對焦圖像，并且生成成為向?qū)У暮铣蓤D像并顯示于顯示器760，所述向?qū)в糜谧屖褂谜哌x擇所顯示的對焦圖像的焦面。

[圖像生成裝置]

如圖39所示，圖像生成裝置600b具備重新聚焦處理部610、球圖像生成部620和合成圖像生成部630。此外，該圖像生成裝置600b通過控制電路來實現(xiàn)。另外，該圖像生成裝置600b也可以具備多個照明器101和具有載置對象物的表面的圖像傳感器102。

重新聚焦處理部610具有與圖像生成裝置100b、200b、300b、400b以及500b各裝置同樣的功能，進行重新聚焦處理并生成對象物的合成圖像。也就是說，重新聚焦處理部610使用通過每當多個照明器101依次照明對象物時由圖像傳感器102進行的拍攝而得到的對象物的多個拍攝圖像，生成預先確定的多個焦面的各焦面上的對象物的對焦圖像。

對象物的多個拍攝圖像由圖像取得部710取得并保存于存儲部。

預先確定的多個焦面分別例如是與圖像傳感器102的受光面平行、且沿著與該受光面垂直的方向(即上述的z軸的方向)隔開等間隔而配置的面。具體而言，多個焦面分別隔開1μm或2μm的間隔而配置。此外，以下，將這些預先確定的多個焦面也稱為初始焦面。

球圖像生成部620提取顯現(xiàn)在由重新聚焦處理部610生成的多個對焦圖像中的對象物的至少一個截面輪廓。接著，球圖像生成部620基于所提取出的至少一個截面輪廓，生成至少一個圓周。并且，球圖像生成部620生成球圖像，該球圖像是具有所生成的至少一個圓周的各圓周的至少一個球的立體圖像。在此，球圖像生成部620通過參照早期胚模型720，生成該球圖像。也就是說，在本實施方式中，對象物是胚，上述的至少一個球包括體現(xiàn)胚的外形的外球和內(nèi)含于該外球且分別體現(xiàn)細胞的外形的至少一個內(nèi)球。

合成圖像生成部630通過以使該至少一個球的截面出現(xiàn)的方式對球圖像進行加工來生成合成圖像，使該合成圖像顯示于顯示器760。

另外，合成圖像生成部630在使用者的畫面操作被操作部740受理時，根據(jù)該使用者的操作，使正在顯示的合成圖像中的截面的位置在顯示器760上變更。

重新聚焦處理部610在來自使用者的對焦圖像的生成請求被焦面輸入部730受理時，根據(jù)該來自使用者的請求生成對象物的對焦圖像。也就是說，重新聚焦處理部610根據(jù)來自使用者的請求，使用多個拍攝圖像生成與正顯示在顯示器760上的截面對應的焦面上的對象物的對焦圖像，使該對焦圖像顯示于顯示器760。此外，對象物的多個拍攝圖像由圖像取得部710取得并保存于存儲部。

圖40表示由合成圖像生成部630顯示的合成圖像的一例。

球圖像生成部620例如生成包含2個小球a2、a3的球a1來作為球圖像a0。此外，該球圖像a0形成為半透明以使得內(nèi)部可見。例如，球圖像生成部620在以與圖像傳感器102的受光面平行的面為xy平面且以與該xy平面垂直的方向為z軸方向的假想空間上生成上述的球圖像a0。

合成圖像生成部630通過以使平面b0與球圖像a0相交的方式對球圖像a0進行加工來合成合成圖像m。也就是說，合成圖像生成部630通過以使至少一個球的截面b1出現(xiàn)的方式對球圖像a0進行加工來生成合成圖像m，使該合成圖像m顯示于顯示器760。例如，該加工所使用的平面b0在初始狀態(tài)下與xy平面平行、且位于z坐標＝z1的位置。由此，在合成圖像m中，出現(xiàn)與xy平面平行、且位于z坐標＝z1的位置的截面b1。另外，在圖像傳感器102的受光面位于z坐標＝0的情況下，z1例如為50μm。

另外，合成圖像生成部630在受理了由使用者進行的用于變更正在顯示的截面b1(即平面b0)的位置的操作時，根據(jù)該操作，變更截面b1相對于球圖像a0的相對位置。

如此，在實施方式4中，作為對象物的胚被模型化為球圖像a0。進而，使用者通過變更合成圖像m的截面b1的位置，能夠一邊掌握胚的概略狀態(tài)以及截面，一邊容易地選擇該胚的任何截面。

[球圖像生成部]

圖41是表示球圖像生成部620的詳細的功能結(jié)構(gòu)的框圖。

球圖像生成部620具備輪廓提取部621、同一性判定部622、高度決定部623、形狀決定部624和立體圖像生成部625。

輪廓提取部621提取顯現(xiàn)在多個初始焦面各自的對焦圖像中的對象物的截面的輪廓。具體而言，輪廓提取部621提取由具有閾值以上的對比度的邊緣構(gòu)成的輪廓。例如，在對象物是胚的情況下，該胚具有胚膜，在該胚膜中內(nèi)含有與培養(yǎng)時間相應的數(shù)量的細胞。該胚膜以及細胞分別具有接近球的形狀。因此，輪廓提取部621從各個對焦圖像中提取接近圓的形狀的輪廓。此外，從一個對焦圖像中，有時提取到一個該輪廓，有時提取到多個輪廓，也有時未提取到輪廓。例如，輪廓提取部621從多個初始焦面上的對焦圖像中提取ka(ka為2以上的整數(shù))個輪廓。

輪廓提取部621例如從對焦圖像中提取邊緣點，對所提取出的邊緣點進行霍夫變換(houghtransform)。此外，邊緣點是像素和與該像素相鄰的像素之間的亮度差較大的點。在霍夫變換中，將經(jīng)過與焦面對應的正交坐標平面上的邊緣點(x，y)的圓周由中心坐標(centerx，centery)和基于半徑r的坐標點(centerx，centery，r)來表示。接著，形狀決定部624求出經(jīng)過邊緣點的圓周的候選。也就是說，根據(jù)r²＝(x-centerx)²+(y-centery)²的公式，若決定了centerx和centery(中心位置)，則半徑r可定。因此，形狀決定部624將正交坐標平面上的邊緣點(x，y)變換為(centerx，centery，r)三維空間的面。在多個邊緣點的正交坐標平面上的位置為(x1，y1)、……、(xn，yn)的情況下，形狀決定部624在(centerx，centery，r)三維空間中生成n個面。該n(n為2以上的整數(shù))個面共有的點位于原來的正交坐標平面上的單個圓周上。因此，形狀決定部624決定由在(centerx，centery，r)三維空間中n個面共有的點所指定的原來的正交坐標平面上的圓周。也就是說，形狀決定部624通過從原來的多個邊緣點中采用被共有的頻度多的點來決定圓周。

同一性判定部622判定這些提取出的ka個輪廓各自是否為與對象物所包含的同一構(gòu)成要素對應的輪廓。并且，同一性判定部622從該ka個輪廓中選擇與同一構(gòu)成要素對應的kb(kb為2以上的整數(shù))個輪廓。在對象物包含多個構(gòu)成要素的情況下，同一性判定部622對該多個構(gòu)成要素分別選擇與同一構(gòu)成要素對應的多個輪廓。在對象物是胚的情況下，構(gòu)成要素是胚或細胞。

是否為與同一構(gòu)成要素對應的輪廓的判定，基于輪廓(邊緣)的形狀、尺寸以及位置來進行。

也就是說，本實施方式中的輪廓提取部621以及同一性判定部622從顯現(xiàn)在由重新聚焦處理部610生成的多個對焦圖像的各對焦圖像中的對象物的截面的輪廓中，提取在多個對焦圖像的各對焦圖像中位于相同位置且尺寸以及形狀相同的多個輪廓。在該多個對焦圖像的各對焦圖像中位于相同位置且尺寸以及形狀相同的多個輪廓，是與同一構(gòu)成要素對應的多個輪廓。

高度決定部623確定具有與同一構(gòu)成要素對應的kb個輪廓的各輪廓的對焦圖像的初始焦面的z坐標。并且，高度決定部623從該z坐標已被確定的kb個初始焦面中，找出位于這些初始焦面的z坐標的中心的初始焦面。高度決定部623將該找出的初始焦面的z坐標決定為上述的同一構(gòu)成要素的中心的高度。在對象物包含多個構(gòu)成要素的情況下，高度決定部623對該多個構(gòu)成要素分別決定該構(gòu)成要素的中心的高度。具體而言，決定胚膜的中心的高度或細胞的中心的高度。

形狀決定部624使用早期胚模型720，決定對象物的構(gòu)成要素的形狀。具體而言，早期胚模型720中的模型數(shù)據(jù)，如上所述，示出胚膜以及細胞被模型化成球等。因此，形狀決定部624將對象物的構(gòu)成要素模型化為球。也就是說，形狀決定部624將由高度決定部623決定出的構(gòu)成要素的中心的高度設定為球的中心的z坐標。進而，形狀決定部624將位于該決定出的高度的沿著該構(gòu)成要素的輪廓的形狀的圓周的半徑設定為球的半徑。進而，形狀決定部624將該圓周在初始焦面上的中心位置設定為球中心的x坐標以及y坐標。由此，針對對象物的構(gòu)成要素，設定球的中心坐標(x坐標、y坐標以及z坐標)和半徑。在對象物包含多個構(gòu)成要素的情況下，形狀決定部624對該多個構(gòu)成要素分別設定球的中心坐標和半徑。

換言之，形狀決定部624基于由同一性判定部622選擇出的多個輪廓中的具有最大邊緣強度的輪廓來生成圓周。邊緣強度例如作為清晰度(sharpness)來進行比較。例如通過傅里葉變換將圖像變換到頻率，由所含的頻率分量來表示清晰度。高頻分量越大則清晰度越高。將預先確定的頻率以上的頻率分量最大的輪廓設為具有最大邊緣強度的輪廓。

由同一性判定部622選擇出的多個輪廓是由輪廓提取部621以及同一性判定部622提取出的與同一構(gòu)成要素對應的多個輪廓。也就是說，上述的高度決定部623將顯現(xiàn)出具有最大邊緣強度的輪廓的對焦圖像的初始焦面的z坐標決定為同一構(gòu)成要素的中心的高度。

另外，形狀決定部624生成與該具有最大邊緣強度的輪廓內(nèi)接或外接的圓周。

立體圖像生成部625生成球圖像，該球圖像是與由形狀決定部624針對對象物的結(jié)構(gòu)設定的中心坐標和半徑相應的球的立體圖像。在對象物包含多個構(gòu)成要素的情況下，立體圖像生成部625將具有與該多個構(gòu)成要素分別對應的球的立體圖像生成為球圖像。并且，立體圖像生成部625將該球圖像輸出給合成圖像生成部630。

也就是說，本實施方式中的形狀決定部624以及立體圖像生成部625生成球圖像，該球圖像包含具有與所生成的圓周相同的中心以及半徑的球的立體圖像。此時，立體圖像生成部625在選擇或提取出多個圓周的情況下，將球面互不相交的多個球的立體圖像生成為上述的球圖像。

此外，對于同一構(gòu)成要素，有時存在分別顯現(xiàn)出最大邊緣強度的多個對焦圖像。在這樣的情況下，由形狀決定部624生成多個圓周。此時，立體圖像生成部625也可以基于這些多個圓周來生成球的立體圖像。也就是說，立體圖像生成部625確定分別顯現(xiàn)出最大邊緣強度的多個對焦圖像各自的初始焦面的z坐標。并且，立體圖像生成部625將這些z坐標的中心決定為球的中心。進而，立體圖像生成部625將從該球的中心到多個圓周中的任一個圓周為止的距離決定為球的半徑?；蛘?，立體圖像生成部625將多個圓周中的任一個圓周的半徑?jīng)Q定為球的半徑。由此，由于球的中心以及半徑被決定，因此立體圖像生成部625生成具有該決定出的中心以及半徑的球的立體圖像。

圖42表示球圖像生成部620的具體處理的一例。

例如，對象物是直徑約為100μm的胚，胚具有胚膜和內(nèi)含于胚膜的2個細胞(第1細胞和第2細胞)來分別作為構(gòu)成要素。

另外，多個初始焦面分別從圖像傳感器102的受光面沿著z軸的方向每隔2μm地配置。也就是說，由于z軸的方向是距圖像傳感器102的受光面的高度方向，因此例如55個初始焦面分別位于高度2μm、4μm、6μm、……、108μm、110μm的位置。

重新聚焦處理部610針對55個初始焦面分別生成對焦圖像。這些在初始焦面上生成的對焦圖像例如是包括260像素×260像素的圖像。

輪廓提取部621從55個初始焦面各自的對焦圖像中，提取由具有閾值以上的對比度的邊緣構(gòu)成的輪廓。例如，輪廓提取部621從對焦圖像p2、p3、p4、p5以及p6中提取輪廓p21、p31、p41、p51以及p61。在將被判斷為是對焦圖像所包含的輪廓的像素的亮度值平均設為a、并將與被判斷為是對焦圖像所包含的輪廓的像素相鄰的像素的亮度平均設為b的情況下，也可以設為(對焦圖像的輪廓對比度)＝|a-b|。

在此，同一性判定部622判定所提取出的輪廓p21、p31、p41、p51以及p61分別是否為與胚所包含的同一構(gòu)成要素對應的輪廓。輪廓p21、p31以及p41各自的邊緣的形狀、尺寸以及位置類似，與其他的輪廓p51以及p61不同。對于邊緣的形狀以及尺寸的類似，能夠通過比較輪廓p21、p31、p41、p51、p61的半徑來判斷。例如，求出半徑的平均值和標準偏差，將半徑的值相對于平均值大到或小到標準偏差的值以上的輪廓判斷為不是與同一構(gòu)成要素對應的輪廓。在輪廓不是圓的情況下，例如，也可以使輪廓p21、p31、p41、p51、p61的重心一致，求出2個輪廓之差，根據(jù)輪廓之差進行聚類。在求出輪廓之差例如輪廓p21與p31之差的情況下，求出從p21上的點到最近的p31上的點為止的距離。針對預先確定的數(shù)量的p21上的點，求出到最近的p31的點為止的距離并進行合計。同樣地，在其他的2個輪廓之間，也求出輪廓之差，根據(jù)輪廓之差來進行分類?；蛘?，在從重心放射狀地引出直線時，求出該直線與p21的交點和該直線與p31的交點之間的距離，在該距離的方差大的情況下判斷為形狀不同，在方差小的情況下判斷為形狀類似。關(guān)于輪廓的位置，例如，通過對輪廓p21、p31、p41、p51、p61的中心位置或者重心位置進行比較來判斷。例如，求出中心彼此之間的距離的平均值和標準偏差，在與其他中心的距離大到對所求出的中心間距離的平均值加上標準偏差而得到的值以上的情況下，判斷為輪廓的位置不同。因此，同一性判定部622從輪廓p21、p31、p41、p51、以及p61中，選擇與第1細胞對應的3個輪廓p21、p31以及p41。

接著，高度決定部623決定具有與第1細胞對應的3個輪廓p21、p31以及p41的各輪廓的對焦圖像p2、p3以及p4的初始焦面的z坐標、即確定高度72μm、70μm、68μm。并且，高度決定部623從高度已被確定的3個初始焦面中找出位于中心的高度的初始焦面。也就是說，高度決定部623找出高度70μm的初始焦面。高度決定部623將該找出的初始焦面的高度70μm決定為第1細胞的中心的高度。

另外，同一性判定部622在由輪廓提取部621從位于高度50μm前后的初始焦面的合成圖像中也提取出輪廓的情況下，與上述同樣地，將這些輪廓和輪廓p51選擇為與胚膜對應的多個輪廓。高度決定部623確定具有這些多個輪廓的各輪廓的對焦圖像的初始焦面的高度。并且，高度決定部623從高度已被確定的多個初始焦面中，找出位于中心的高度的初始焦面。例如，高度決定部623找出高度50μm的初始焦面。高度決定部623將該找出的初始焦面的高度50μm決定為胚膜的中心的高度。

同樣地，同一性判定部622在由輪廓提取部621從位于高度20μm前后的初始焦面的合成圖像中也提取出輪廓的情況下，與上述同樣地，將這些輪廓和輪廓p61選擇為與第2細胞對應的多個輪廓。高度決定部623確定具有這些多個輪廓的各輪廓的對焦圖像的初始焦面的高度。并且，高度決定部623從高度已被確定的多個初始焦面中，找出位于中心的高度的初始焦面。例如，高度決定部623找出高度20μm的初始焦面。高度決定部623將該找出的初始焦面的高度20μm決定為第1細胞的中心的高度。

形狀決定部624將胚的各構(gòu)成要素模型化為球。也就是說，形狀決定部624將由高度決定部623決定出的第1細胞的中心的高度(70μm)設定為球的中心的z坐標。進而，形狀決定部624將針對位于該決定出的第1細胞的中心的高度(70μm)的初始焦面生成的對焦圖像p3所包含的沿著第1細胞的輪廓p31的形狀的圓周的半徑設定為球的半徑。進而，形狀決定部624將該圓周在初始焦面上的中心位置設定為球的中心的x坐標以及y坐標。由此，針對胚的第1細胞，設定了球的中心坐標(x坐標、y坐標以及z坐標＝70μm)和半徑。同樣地，形狀決定部624針對胚膜以及第2細胞，也設定球的中心坐標和半徑。

其結(jié)果是，如圖40所示，立體圖像生成部625生成包含3個球a1～a3的立體圖像即球圖像a0，所述3個球a1～a3具有如上述那樣分別對胚膜、第1細胞和第2細胞設定的中心坐標和半徑。另外，合成圖像生成部630通過將由立體圖像生成部625生成的球圖像a0和平面b0進行合成，生成顯現(xiàn)了截面b1的球圖像a0來作為合成圖像m。

圖43表示顯示器760所顯示的畫面的一例。

在圖40所示的例子中，合成圖像生成部630生成了示出球圖像a0的整體和截面b1的合成圖像m。但是，為了使截面b1更易于觀察，如圖43所示，合成圖像生成部630也可以生成示出球圖像a0中的由截面b1分離開的2個部分中的僅一個部分和截面b1的合成圖像。例如，在截面b1，顯現(xiàn)上述的第1細胞被模型化后的球a3(參照圖40)的輪廓b2。

合成圖像生成部630使上述那樣的合成圖像顯示于顯示器760。此時，合成圖像生成部630也可以顯示中心軸c。中心軸c是與截面b1垂直、且經(jīng)過該截面b1的中心的線段。

另外，合成圖像生成部630顯示軸調(diào)整框d1、截面調(diào)整框d2和重新聚焦按鈕d3。

例如，操作部740受理通過使用者的操作而輸入到軸調(diào)整框d1的x坐標、y坐標以及z坐標。合成圖像生成部630改變中心軸c的朝向，以使其沿著與所受理的這些坐標相應的矢量的朝向。由此，如圖43的(a)以及(b)所示，包含顯示在顯示器760中的球圖像a0的合成圖像的整體的朝向被變更。或者，合成圖像生成部630也可以僅改變截面b1的朝向。也就是說，合成圖像生成部630不將中心軸c的朝向變更為球圖像a0的中心軸的朝向而變更為截面b1的法線的朝向。由此，可不改變顯示在顯示器760中的球圖像a0的朝向而僅變更截面b1的朝向。

另外，操作部740受理通過使用者的操作而輸入到截面調(diào)整框d2的x坐標、y坐標以及z坐標。合成圖像生成部630使截面b1的中心bc移動到由所受理的這些坐標表示的位置。在此，在截面調(diào)整框d2中僅輸入表示中心軸c上的位置的x坐標、y坐標以及z坐標。因此，如圖43的(b)以及(c)所示，合成圖像生成部630根據(jù)向截面調(diào)整框d2的輸入，使顯示在顯示器760上的球圖像a0中的截面b1的位置沿著中心軸c移動。

另外，焦面輸入部730通過使用者選擇重新聚焦按鈕d3的選擇操作，受理重新聚焦處理的請求。重新聚焦處理部610根據(jù)來自該使用者的請求，使用多個拍攝圖像生成與正顯示在顯示器760上的截面b1對應的焦面上的對象物的對焦圖像，并使該對焦圖像顯示于顯示器760。此外，多個拍攝圖像是由圖像取得部710取得的拍攝圖像。

[圖像生成裝置的工作]

圖44是表示實施方式4涉及的圖像生成裝置600b的工作的一例的流程圖。

(步驟s100)

首先，重新聚焦處理部610使用由圖像取得部710取得的對象物的多個拍攝圖像，生成多個初始焦面各自上的對象物的對焦圖像。

(步驟s110)

接著，球圖像生成部620提取顯現(xiàn)在所生成的多個對焦圖像中的對象物的截面的輪廓，生成球圖像，該球圖像是分別具有沿著所提取出的輪廓的形狀的圓周的至少一個球的立體圖像。

(步驟s120)

接著，合成圖像生成部630通過以使該至少一個球的截面出現(xiàn)的方式對球圖像進行加工來生成合成圖像，并使該合成圖像顯示于顯示器760。

(步驟s130)

接著，重新聚焦處理部610判定對焦圖像的請求、即重新聚焦處理的請求是否被焦面輸入部730受理。

(步驟s140)

重新聚焦處理部610在步驟s130中判定為受理了該請求時(步驟s130：是)，生成對焦圖像。也就是說，重新聚焦處理部610根據(jù)來自使用者的請求，使用多個拍攝圖像生成與正顯示在顯示器760上的截面對應的焦面上的對象物的對焦圖像。此外，多個拍攝圖像是由圖像取得部710取得的對象物的多個拍攝圖像。

(步驟s150)

重新聚焦處理部610使該生成的對焦圖像顯示于顯示器760。

(步驟s160)

當在步驟s130中由重新聚焦處理部610判定為沒有受理對焦圖像的請求時(步驟s130：否)，合成圖像生成部630判定使用者對畫面的操作是否被操作部740受理。在此，當由合成圖像生成部630判定為沒有受理畫面的操作時(步驟s160：否)，圖像生成裝置600b結(jié)束處理。

(步驟s170)

另一方面，合成圖像生成部630在判定為受理了畫面的操作時(步驟s160：是)，根據(jù)該操作來變更正在顯示的合成圖像。也就是說，合成圖像生成部630根據(jù)使用者的操作來變更正在顯示的合成圖像中的截面的位置。并且，圖像生成裝置600b反復執(zhí)行從步驟s130起的處理。

圖45是表示圖44的步驟s110中的球圖像的生成的詳細處理的流程圖。

(步驟s111)

首先，球圖像生成部620的輪廓提取部621提取顯現(xiàn)在多個初始焦面各自的對焦圖像中的對象物的截面的輪廓。

(步驟s112)

同一性判定部622針對對象物所包含的至少一個構(gòu)成要素的各構(gòu)成要素，從通過步驟s111提取出的多個輪廓中選擇與同一構(gòu)成要素對應的多個輪廓。

(步驟s113)

高度決定部623針對對象物所包含的至少一個構(gòu)成要素的各構(gòu)成要素，確定與同一構(gòu)成要素對應的多個輪廓的高度(z坐標)。并且，高度決定部623將所決定出的多個輪廓的高度的中心決定為構(gòu)成要素的中心的高度。

(步驟s114)

形狀決定部624針對對象物所包含的至少一個構(gòu)成要素的各構(gòu)成要素，將構(gòu)成要素模型化為球。也就是說，形狀決定部624使用早期胚模型720、構(gòu)成要素的中心的高度、和從該高度的對焦圖像提取出的輪廓，將構(gòu)成要素模型化為球。

(步驟s115)

立體圖像生成部625生成球圖像，該球圖像是包括通過對象物所包含的至少一個構(gòu)成要素各自的模型化而得到的至少一個球的立體圖像。

[實施方式4的總結(jié)]

上述實施方式4的圖像生成裝置600b通過多個照明器101和控制電路來實現(xiàn)。

圖46a是表示實施方式4的圖像生成裝置600b的硬件結(jié)構(gòu)的一例的圖。

實施方式4的圖像生成裝置600b具備多個照明器101、具有載置對象物的表面的圖像傳感器102、用于生成位于多個照明器101與圖像傳感器102之間的假想的焦面上的對象物的對焦圖像的控制電路60。并且，該控制電路60實現(xiàn)上述的重新聚焦處理部610、球圖像生成部620和合成圖像生成部630各自的功能。此外，該控制電路60也可以通過執(zhí)行記錄在非暫時性的記錄介質(zhì)中的程序或命令來實現(xiàn)這些功能。

即，控制電路60使用通過每當多個照明器101依次照明對象物時由圖像傳感器102進行的拍攝而得到的對象物的多個拍攝圖像，生成預先確定的多個焦面的各焦面上的對象物的對焦圖像。接著，控制電路60提取顯現(xiàn)在所生成的多個對焦圖像中的對象物的至少一個截面的輪廓。接著，控制電路60基于該至少一個截面的輪廓，生成至少一個圓周，生成具有所生成的至少一個圓周的各圓周的至少一個球的立體圖像即球圖像a0。并且，控制電路60通過以使該至少一個球的截面b1顯現(xiàn)的方式對球圖像a0進行加工來生成合成圖像m，并使該合成圖像m顯示于顯示器760。

圖46b是表示圖像生成裝置600b所具備的控制電路60的工作的一例的流程圖。

(步驟s61)

首先，控制電路60使用通過每當多個照明器101依次照明對象物時由圖像傳感器102進行的拍攝而得到的對象物的多個拍攝圖像，生成預先確定的多個焦面的各焦面上的對象物的對焦圖像。

(步驟s62)

接著，控制電路60提取顯現(xiàn)在所生成的多個對焦圖像中的對象物的至少一個截面的輪廓。

(步驟s63)

接著，控制電路60基于該至少一個截面的輪廓，生成至少一個圓周。

(步驟s64)

接著，控制電路60生成具有所生成的至少一個圓周的各圓周的至少一個球的立體圖像即球圖像a0。

(步驟s65)

然后，控制電路60通過以使該至少一個球的截面b1顯現(xiàn)的方式對球圖像a0進行加工來生成合成圖像m，并使該合成圖像m顯示于顯示器760。

由此，對象物被模型化成球圖像a0，例如包括球圖像a0和該截面b1的合成圖像m被顯示于顯示器760。其結(jié)果是，使用者通過觀察該合成圖像m，能夠容易地掌握對象物的結(jié)構(gòu)。

另外，控制電路60也可以根據(jù)使用者的操作來變更正在顯示的合成圖像m中的截面b1的位置。該情況下，控制電路60根據(jù)來自使用者的請求，使用多個拍攝圖像生成與正顯示在顯示器760上的截面b1對應的焦面上的對象物的對焦圖像，并使該對焦圖像顯示于顯示器760。

由此，使用者能夠?qū)⒃摵铣蓤D像m的截面b1變更到所希望的位置，能夠顯示該位置處的對焦圖像。例如，使用者能夠一邊確認胚內(nèi)部的結(jié)構(gòu)，一邊決定想要觀察的細胞的截面的位置。另外，能夠為了確認內(nèi)部結(jié)構(gòu)而高效地進行截面位置的選擇。因此，能夠容易地顯示對象物的在使用者希望的截面上的對焦圖像。

此外，具備這樣的圖像生成裝置600b的圖像生成系統(tǒng)，也可以具備通過使用者的輸入來受理細胞數(shù)的細胞數(shù)輸入部。該情況下，球圖像生成部620基于被該細胞數(shù)輸入部受理的細胞數(shù)來生成球圖像a0。具體而言，球圖像生成部620基于從多個初始焦面上的合成圖像中提取出的輪廓，設定n個球的中心坐標和半徑。但是，在被細胞數(shù)輸入部受理的細胞數(shù)為m(m<n)個的情況下，球圖像生成部620將n個球中的(n-m)個球作為噪聲來處理。該作為噪聲來處理的(n-m)個球例如是n個球中的比其余的m個球小的球。其結(jié)果是，球圖像生成部620生成包括m個球的球圖像。由此，能夠生成消除了噪聲的球圖像，能夠適當?shù)剡M行對象物的模型化。此外，細胞數(shù)輸入部也可以不是受理細胞數(shù)而是受理培養(yǎng)時間。該情況下，細胞數(shù)輸入部通過參照實施方式3的胚信息表420，根據(jù)所受理的培養(yǎng)時間來確定細胞數(shù)。

另外，實施方式4的形狀決定部624將沿著構(gòu)成要素的輪廓的形狀的圓周的半徑設定為球的半徑，但該圓周也可以是與輪廓內(nèi)接的圓周，還可以是與輪廓外接的圓周。

另外，實施方式4的圖像生成裝置600b，進行圖44所示的步驟s130、s160以及s170的處理，但也可以不進行這些處理。該情況下，圖像生成裝置600b使出現(xiàn)了預先確定的位置的截面的合成圖像顯示于顯示器760。也就是說，在使用者希望的截面的位置被固定的情況下，圖像生成裝置600b不受理使用者的畫面操作而顯示出現(xiàn)了該固定的位置的截面的合成圖像。并且，圖像生成裝置600b生成并顯示與該截面對應的焦面上的對焦圖像。

(其他實施方式)

以上，基于實施方式對一個或多個技術(shù)方案涉及的圖像生成系統(tǒng)進行了說明，但本公開不限定于該實施方式。在不脫離本公開的主旨的范圍內(nèi)，在本實施方式中實施本領(lǐng)域技術(shù)人員能想到的各種變形而得到的方式、或組合不同實施方式中的構(gòu)成要素而構(gòu)成的方式也可以包含在一個或多個技術(shù)方案的范圍內(nèi)。

此外，在上述實施方式3及其變形例中，計時部430將從培養(yǎng)開始起的經(jīng)過時間計測為培養(yǎng)時間，但也可以計測受精后的經(jīng)過時間。該情況下，胚信息表不是保持培養(yǎng)時間而是保持從受精起的經(jīng)過時間的信息即可。

本公開能夠廣泛利用于生成培養(yǎng)中的細胞或胚等細胞團(cellmass)的圖像的裝置，當在培養(yǎng)箱內(nèi)拍攝對象物時有用。