專(zhuān)利名稱(chēng)：基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明專(zhuān)利涉及機(jī)車(chē)自動(dòng)控制領(lǐng)域，具體是能實(shí)現(xiàn)車(chē)輛遵循地面導(dǎo)航線(xiàn)自主導(dǎo)航功能的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)。
背景技術(shù)：
隨著科技和經(jīng)濟(jì)的發(fā)展，自主導(dǎo)航車(chē)輛(AGV)在工業(yè)領(lǐng)域獲得了廣泛的應(yīng)用。基于視覺(jué)的導(dǎo)航系統(tǒng)則成為國(guó)內(nèi)外AGV領(lǐng)域的研究熱點(diǎn)。目前基于PC的視覺(jué)導(dǎo)航系統(tǒng)盡管占據(jù)主流位置，但也存在諸多致命缺陷；嵌入式視覺(jué)導(dǎo)航系統(tǒng)取代PC板卡系統(tǒng)成為了必然的趨勢(shì)。但由于軟/硬件資源的限制，嵌入式視覺(jué)導(dǎo)航系對(duì)復(fù)雜環(huán)境的適應(yīng)性十分薄弱，嚴(yán)重制約了嵌入式視覺(jué)導(dǎo)航系統(tǒng)在各個(gè)領(lǐng)域的推廣應(yīng)用。

發(fā)明內(nèi)容
為解決目前嵌入式視覺(jué)導(dǎo)航系統(tǒng)對(duì)復(fù)雜環(huán)境的適應(yīng)性十分薄弱以及軟/硬件資源限制的問(wèn)題，本發(fā)明采用CCD攝像頭作為視覺(jué)傳感器，實(shí)現(xiàn)針對(duì)復(fù)雜環(huán)境的圖像動(dòng)態(tài)閾值計(jì)算和自適應(yīng)調(diào)整，以及基于有限資源的遠(yuǎn)距離圖像信息實(shí)時(shí)獲取和畸變校正的方法， 實(shí)現(xiàn)了在可變光線(xiàn)環(huán)境下穩(wěn)定運(yùn)行、具有遠(yuǎn)距信息獲取能力的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是一種基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，該系統(tǒng)包含如下處理步驟第一步，視頻信號(hào)采集，單片機(jī)進(jìn)行視頻信號(hào)的采集，首先采集縱向上的信息，其次采集橫向上的信息；第二步，畸變校正，將攝像頭采集的圖像進(jìn)行縱向和橫向的畸變校正；第三步，路徑識(shí)別提取，將所述采集的圖像進(jìn)行導(dǎo)航線(xiàn)分離，即將導(dǎo)航線(xiàn)從背景圖像中分離提取出來(lái)；第四步，轉(zhuǎn)向控制，搭建轉(zhuǎn)向模型計(jì)算出智能車(chē)的轉(zhuǎn)彎半徑與舵機(jī)擺角的關(guān)系，為智能車(chē)轉(zhuǎn)向控制提供數(shù)據(jù)；第五步，舵機(jī)控制，實(shí)現(xiàn)智能車(chē)沿導(dǎo)航線(xiàn)行使；第六步，速度控制，采用PID控制法對(duì)智能車(chē)運(yùn)行速度進(jìn)行控制，實(shí)現(xiàn)智能車(chē)平穩(wěn)地沿著導(dǎo)航線(xiàn)行使；所述步驟一中單片機(jī)進(jìn)行視頻信號(hào)的采集，首先，確定攝像頭圖像的分辨率；在縱向上，常規(guī)PAL制式攝像頭每場(chǎng)有觀0行的視頻信號(hào)，本發(fā)明選取其中40行的信息進(jìn)行采集和處理，既能達(dá)到控制需求，又能節(jié)約單片機(jī)資源；橫向上，需提高橫向分辨率。采用鎖相環(huán)將AD轉(zhuǎn)換頻率提高到24MHz，提高ATD時(shí)鐘(即單片機(jī)的AD轉(zhuǎn)換)，并采用一個(gè)序列8次轉(zhuǎn)換，連續(xù)采集。以便縮短采樣時(shí)間，使得在58 μ s的時(shí)間內(nèi)可以轉(zhuǎn)換完6個(gè)序列，即橫向分辨率可以達(dá)到48個(gè)點(diǎn)；其次，結(jié)合攝像頭的圖像分辨率進(jìn)行視頻信號(hào)的采集過(guò)程
第一步，捕捉視頻同步信號(hào)分離芯片分離出的奇偶場(chǎng)同步信號(hào)；然后進(jìn)入相對(duì)應(yīng)的中斷服務(wù)程序；讓出場(chǎng)同消隱區(qū)確保正確的采集到數(shù)據(jù)，使定時(shí)器定時(shí)l.ans，定時(shí)結(jié)束后，開(kāi)啟行中斷，準(zhǔn)備采集數(shù)據(jù)；第二步，定時(shí)器定時(shí)時(shí)間到，此時(shí)開(kāi)啟行通道，允許中斷，并使控制ATD轉(zhuǎn)換的行計(jì)數(shù)器歸零，以標(biāo)志一幅圖像的開(kāi)始；第三步，大約32μ s后，行中斷時(shí)間到；上升沿行同步信號(hào)后6μ s才會(huì)有真正的圖像數(shù)據(jù)出現(xiàn)，并持續(xù)52 μ S到該行結(jié)束，為此在該行的行中斷中使定時(shí)器定時(shí)6 μ S,定時(shí)時(shí)結(jié)束后才能開(kāi)始采集；第四步，定時(shí)器定時(shí)6 μ s時(shí)間到；立即開(kāi)始ATD采集，由于ATD是按序列采集的， 一個(gè)序列可以連續(xù)采集8個(gè)點(diǎn)，每個(gè)序列采集完成后將產(chǎn)生一次ATD中斷，此時(shí)以?huà)呙璺绞介_(kāi)啟ATD轉(zhuǎn)換，采集48個(gè)點(diǎn)需要6次ATD中斷；第五步，每隔約8μ s，ATD中斷發(fā)生一次把ATD的數(shù)據(jù)轉(zhuǎn)存到存儲(chǔ)圖像的數(shù)組中， 當(dāng)序列數(shù)為6時(shí)，標(biāo)志著一個(gè)行已經(jīng)采集結(jié)束，停止ATD中斷；第六步，ATD中斷不斷的向圖像數(shù)組中寫(xiě)入數(shù)據(jù)，直到行計(jì)數(shù)器計(jì)到40行，一幅視頻圖像數(shù)據(jù)已經(jīng)采集完成，關(guān)掉行ATD中斷。所述步驟二中攝像頭畸變校正方法為首先校正垂直方向上的畸變，h是攝像頭鏡頭高度，a、b是最近處和最遠(yuǎn)處的視野，χ是視野中的任意一點(diǎn)，α、β、θ分別是a、b、x對(duì)應(yīng)的視線(xiàn)仰角。由幾何關(guān)系可知它
們之間存在著如下關(guān)系
權(quán)利要求
1.一種基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于，該系統(tǒng)包含如下處理步驟第一步，視頻信號(hào)采集，單片機(jī)進(jìn)行視頻信號(hào)的采集，首先采集縱向上的信息，其次采集橫向上的信息；第二步，畸變校正，將攝像頭采集的圖像進(jìn)行縱向和橫向的畸變校正； 第三步，路徑識(shí)別提取，將所述采集的圖像進(jìn)行導(dǎo)航線(xiàn)分離，即將導(dǎo)航線(xiàn)從背景圖像中分離提取出來(lái)；第四步，轉(zhuǎn)向控制，搭建轉(zhuǎn)向模型計(jì)算出智能車(chē)的轉(zhuǎn)彎半徑與舵機(jī)擺角的關(guān)系，為智能車(chē)轉(zhuǎn)向控制提供數(shù)據(jù)；第五步，舵機(jī)控制，實(shí)現(xiàn)智能車(chē)沿導(dǎo)航線(xiàn)行使；第六步，速度控制，采用PID控制法對(duì)智能車(chē)運(yùn)行速度進(jìn)行控制，實(shí)現(xiàn)智能車(chē)平穩(wěn)地沿著導(dǎo)航線(xiàn)行使；
2.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟一中單片機(jī)進(jìn)行視頻信號(hào)的采集，首先，確定攝像頭圖像的分辨率；在縱向上，常規(guī)PAL制式攝像頭每場(chǎng)有280行的視頻信號(hào)，本發(fā)明選取其中40行的信息進(jìn)行采集和處理，既能達(dá)到控制需求，又能節(jié)約單片機(jī)資源；橫向上，需提高橫向分辨率。采用鎖相環(huán)將AD轉(zhuǎn)換頻率提高到24MHz，提高ATD時(shí)鐘 (即單片機(jī)的AD轉(zhuǎn)換)，并采用一個(gè)序列8次轉(zhuǎn)換，連續(xù)采集。以便縮短采樣時(shí)間，使得在 58 μ s的時(shí)間內(nèi)可以轉(zhuǎn)換完6個(gè)序列，即橫向分辨率可以達(dá)到48個(gè)點(diǎn)； 其次，結(jié)合攝像頭的圖像分辨率進(jìn)行視頻信號(hào)的采集過(guò)程第一步，捕捉視頻同步信號(hào)分離芯片分離出的奇偶場(chǎng)同步信號(hào)；然后進(jìn)入相對(duì)應(yīng)的中斷服務(wù)程序；讓出場(chǎng)同消隱區(qū)確保正確的采集到數(shù)據(jù)，使定時(shí)器定時(shí)l.ans，定時(shí)結(jié)束后， 開(kāi)啟行中斷，準(zhǔn)備采集數(shù)據(jù)；第二步，定時(shí)器定時(shí)時(shí)間到，此時(shí)開(kāi)啟行通道，允許中斷，并使控制ATD轉(zhuǎn)換的行計(jì)數(shù)器歸零，以標(biāo)志一幅圖像的開(kāi)始；第三步，大約32 μ s后，行中斷時(shí)間到；上升沿行同步信號(hào)后6 μ s才會(huì)有真正的圖像數(shù)據(jù)出現(xiàn)，并持續(xù)52 μ s到該行結(jié)束，為此在該行的行中斷中使定時(shí)器定時(shí)6 μ s,定時(shí)時(shí)結(jié)束后才能開(kāi)始采集；第四步，定時(shí)器定時(shí)6 μ s時(shí)間到；立即開(kāi)始ATD采集，由于ATD是按序列采集的，一個(gè)序列可以連續(xù)采集8個(gè)點(diǎn)，每個(gè)序列采集完成后將產(chǎn)生一次ATD中斷，此時(shí)以?huà)呙璺绞介_(kāi)啟 ATD轉(zhuǎn)換，采集48個(gè)點(diǎn)需要6次ATD中斷；第五步，每隔約8 μ s，ATD中斷發(fā)生一次把ATD的數(shù)據(jù)轉(zhuǎn)存到存儲(chǔ)圖像的數(shù)組中，當(dāng)序列數(shù)為6時(shí)，標(biāo)志著一個(gè)行已經(jīng)采集結(jié)束，停止ATD中斷；第六步，ATD中斷不斷的向圖像數(shù)組中寫(xiě)入數(shù)據(jù)，直到行計(jì)數(shù)器計(jì)到40行，一幅視頻圖像數(shù)據(jù)已經(jīng)采集完成，關(guān)掉行ATD中斷。
3.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟二中攝像頭畸變校正方法為首先校正垂直方向上的畸變，h是攝像頭鏡頭高度，a、b是最近處和最遠(yuǎn)處的視野，χ是視野中的任意一點(diǎn)，α、β、θ分別是a、b、χ對(duì)應(yīng)的視線(xiàn)仰角。由幾何關(guān)系可知它們之間存在著如下關(guān)系
4.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟三中路徑識(shí)別采用閾值分割法因本導(dǎo)航系統(tǒng)的運(yùn)行環(huán)境只有白色和黑色，因此尋找出圖像中的最大值和最小值，然后取其中間值就是圖像的閾值；為了增加該導(dǎo)航系統(tǒng)的適應(yīng)性，將第一幅圖像的第一行中，取兩組最大值和最小值，利用四個(gè)數(shù)值的平均值作為圖像的閾值；所述步驟三中路徑提取采用二值化算法和跟蹤邊緣檢測(cè)法相結(jié)合 二值化算法過(guò)程如下首先設(shè)定一個(gè)閾值，對(duì)于視頻信號(hào)矩陣中每一行，從左至右比較各像素值和閾值的大??；若像素值大于等于閾值，則判定該像素對(duì)應(yīng)的是白色賽道；反之，則判定對(duì)應(yīng)的是目標(biāo)指引線(xiàn)；記錄第一次和最后一次出現(xiàn)像素值小于閾值時(shí)的像素點(diǎn)的列號(hào)，算出兩者的平均值，以此作為該行上目標(biāo)指引線(xiàn)的位置； 跟蹤邊緣檢測(cè)法過(guò)程如下首先導(dǎo)航線(xiàn)是連續(xù)的線(xiàn)段，所以相鄰兩行的邊緣點(diǎn)是相鄰的；跟蹤邊緣檢測(cè)利用這一特性來(lái)搜索路徑；若已尋找到某行的邊緣，則下一次就在上一個(gè)緣附近進(jìn)行搜尋；該算法可以排除不利的干擾；上述兩種方法結(jié)合使用，具體的過(guò)程如下①、將攝像頭采集到的原始數(shù)據(jù)濾波，如出現(xiàn)超出正常范圍以外的點(diǎn)時(shí)判斷是噪聲干擾，用該點(diǎn)前面和后面數(shù)據(jù)的平均值取代；排除干擾信號(hào)；②、采用二值化處理法對(duì)攝像頭采集數(shù)據(jù)進(jìn)行處理；記錄每一行出現(xiàn)的黑點(diǎn)段數(shù)及該行中心位置，準(zhǔn)備下一步的路徑搜索；③、設(shè)定只有一段黑點(diǎn)的那一行為最近一行，然后以這一行黑線(xiàn)位置為基準(zhǔn)，向上和向下搜索；由于導(dǎo)航線(xiàn)是連續(xù)分布的，所以離其最近的那段黑線(xiàn)為正確的導(dǎo)航線(xiàn)；這樣就能排除干擾，找到真正的黑線(xiàn)位置，即路徑位置。
5.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟四中，通過(guò)轉(zhuǎn)向控制，搭建轉(zhuǎn)向模型計(jì)算出智能車(chē)的轉(zhuǎn)彎半徑與舵機(jī)擺角的關(guān)系，為智能車(chē)轉(zhuǎn)向控制提供數(shù)據(jù)，具體實(shí)現(xiàn)方式如下；智能車(chē)的左右前輪轉(zhuǎn)角的切線(xiàn)，將與后輪軸線(xiàn)延長(zhǎng)線(xiàn)交于一點(diǎn)0點(diǎn)；設(shè)兩前輪中點(diǎn)為參考點(diǎn)，這一參考點(diǎn)到0點(diǎn)的距離作為小車(chē)的轉(zhuǎn)彎半徑，推導(dǎo)得出小車(chē)的幾何轉(zhuǎn)彎模型，從而得到小車(chē)轉(zhuǎn)彎半徑與舵機(jī)擺角的關(guān)系；小車(chē)左轉(zhuǎn)彎公式如下，智能車(chē)右轉(zhuǎn)同理可得
6.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟五中，通過(guò)舵機(jī)控制，實(shí)現(xiàn)智能車(chē)沿導(dǎo)航線(xiàn)行使方法如下； 首先確定的是控制目標(biāo)讓小車(chē)盡量“沿線(xiàn)行駛”，所謂沿線(xiàn)行駛為車(chē)體中心點(diǎn)在導(dǎo)航線(xiàn)上；選取智能車(chē)前輪中心點(diǎn)為參考點(diǎn)，規(guī)劃出一條走線(xiàn)；這條走線(xiàn)起始于車(chē)體參考點(diǎn)，終止于圖像導(dǎo)航線(xiàn)末端；要想達(dá)到控制的目標(biāo)，就要求智能車(chē)的走線(xiàn)末端與導(dǎo)航線(xiàn)末端重合且它們的的切線(xiàn)方向一致；智能車(chē)在攝像頭所看到的范圍內(nèi)轉(zhuǎn)過(guò)一定的角度，即智能車(chē)從A 點(diǎn)到C點(diǎn)的距離范圍內(nèi)轉(zhuǎn)過(guò)的角度為a+b ；運(yùn)動(dòng)模型包含了近似的積分過(guò)程，舵機(jī)輸出轉(zhuǎn)角與路程的積分與智能車(chē)轉(zhuǎn)過(guò)的角度成正比，用公式表達(dá)為/ θ (t) · S · d θ = k · α公式 7其中，θ表示舵機(jī)輸出轉(zhuǎn)角，S為小車(chē)走過(guò)的路程，K為固定常數(shù)，α為小車(chē)轉(zhuǎn)過(guò)的角度，近似認(rèn)為在20ms的周期內(nèi)，小車(chē)舵機(jī)擺角是一常量，則公式可以簡(jiǎn)化為 θ · S = k · α公式 8在轉(zhuǎn)角θ —定的情況下路程S就是一段以α為圓心角R為半徑的一段弧長(zhǎng)，將其帶入式公式8中即可得到下式
7.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，其特征在于， 所述步驟六中，采用PID控制法對(duì)智能車(chē)運(yùn)行速度進(jìn)行控制，實(shí)現(xiàn)智能車(chē)平穩(wěn)地沿著導(dǎo)航線(xiàn)行使；首先通過(guò)速度檢測(cè)，對(duì)車(chē)速度進(jìn)行閉環(huán)反饋控制，依據(jù)控制器輸出與執(zhí)行機(jī)構(gòu)的對(duì)應(yīng)關(guān)系，確定采用位置式PID控制算法，算式為
8.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)的實(shí)現(xiàn)裝置，其特征在于，包括攝像頭、單片機(jī)(飛思卡爾MC9S12)、視頻同步分離單元；所述處理器輸入端接有CCD攝像頭，其輸出端接有前輪舵機(jī)； 所述處理器輸入端還接有視頻同步分離單元，其輸出端通過(guò)直流電機(jī)驅(qū)動(dòng)芯片模塊接有后輪電機(jī)；所述CCD攝像頭與視頻同步分離單元連接； 所述處理器由電源模塊供電。
9.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)的實(shí)現(xiàn)裝置，其特征在于，所述處理器通過(guò)PHO、PHl端接有視頻同步分離單元，為視頻采集提供中斷信號(hào)。
10.按權(quán)利要求1所述的基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)的實(shí)現(xiàn)裝置，其特征在于，所述PLC處理器為16M的外部晶震，通過(guò)其內(nèi)部的鎖向環(huán)的功能，使得該P(yáng)LC處理器的總線(xiàn)頻率達(dá)到24M，以便滿(mǎn)足視頻采集的需要。
全文摘要
一種基于導(dǎo)航線(xiàn)識(shí)別的嵌入式單目視覺(jué)導(dǎo)航系統(tǒng)，該系統(tǒng)包含如下處理步驟第一步，視頻信號(hào)采集，單片機(jī)進(jìn)行視頻信號(hào)的采集；第二步，畸變校正，將攝像頭采集的圖像進(jìn)行縱向和橫向的畸變校正；第三步，路徑識(shí)別提取，將導(dǎo)航線(xiàn)從背景圖像中分離提取出來(lái)；第四步，轉(zhuǎn)向控制，搭建轉(zhuǎn)向模型計(jì)算出智能車(chē)的轉(zhuǎn)彎半徑與舵機(jī)擺角的關(guān)系，為智能車(chē)轉(zhuǎn)向控制提供數(shù)據(jù)；第五步，舵機(jī)控制，實(shí)現(xiàn)智能車(chē)沿導(dǎo)航線(xiàn)行使；第六步，速度控制，采用PID控制法對(duì)智能車(chē)運(yùn)行速度進(jìn)行控制；本發(fā)明用攝像頭采集導(dǎo)航線(xiàn)信息，具有良好的視覺(jué)前瞻性，有效提升了導(dǎo)航系統(tǒng)性能。本發(fā)明實(shí)現(xiàn)了在復(fù)雜環(huán)境下的圖像動(dòng)態(tài)閾值計(jì)算與自適應(yīng)調(diào)整，在復(fù)雜光線(xiàn)下有更好的穩(wěn)定性。
文檔編號(hào)G01C21/26GK102269595SQ20101018946
公開(kāi)日2011年12月7日 申請(qǐng)日期2010年6月2日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者俞雪婷, 吳昊, 師恩義, 張?jiān)浦? 王賀, 袁泉 申請(qǐng)人:東北大學(xué)