專利名稱：一種基于模擬輸入和圖像分析的自動控制軟件技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于模擬輸入和圖像分析的自動控制軟件技術(shù)，具體說涉及一種通過模擬鼠標輸入、鍵盤輸入結(jié)合計算機屏幕圖像分析來實現(xiàn)自動控制操作系統(tǒng)和其他軟件的軟件技術(shù)。
背景技術(shù)：
通常，我們使用電腦時都是通過人工控制鼠標和鍵盤來完成各項操作。但是，當大量重復(fù)性工作，需要暫時離開，而且當兩個應(yīng)用程序軟件之間需要進行數(shù)據(jù)交換而又沒有公開可用的接口時，通過人工操作的方式就存在很大的不足。對此，本發(fā)明提供了一種可行的解決方案。

發(fā)明內(nèi)容
本發(fā)明所解決的技術(shù)問題是提供一種通過模擬鼠標輸入、鍵盤輸入結(jié)合計算機屏幕圖像分析來實現(xiàn)自動控制操作系統(tǒng)和其他軟件的軟件技術(shù)，可以用于自動化辦公和間接實現(xiàn)程序間的接口編程。
本發(fā)明的技術(shù)方案如下目前，很多編程語言都提供了應(yīng)用程序接口函數(shù)(API)以及一些與鍵盤、鼠標輸入相關(guān)的方法，在這些函數(shù)或方法里提供了控制鼠標位置、鼠標事件以及模擬鍵盤輸入的的函數(shù)或方法。另外，還有一些函數(shù)或方法可以控制操作界面上各個窗體的位置，大小，最大化、最小化，以及窗體的激活等。利用這些函數(shù)和方法，結(jié)合對屏幕的圖像分析可以完成對操作系統(tǒng)和其他軟件的自動控制。
具體實施例方式
本發(fā)明可以采用多種編程語言來實現(xiàn)，下面用C#語言提供的函數(shù)和方法來簡單描述一下實現(xiàn)過程。
本發(fā)明優(yōu)選實施例之一實現(xiàn)QQ自動登陸QQ是Tencent公司開發(fā)的一種用于網(wǎng)絡(luò)聊天的軟件，它的登陸界面一般包括兩個輸入框和兩個按鈕。其中，兩個輸入框分別用于輸入用戶名和密碼，兩個按鈕分別用于確定輸入和取消登陸。登陸程序運行時一般出現(xiàn)在屏幕正中位置，兩個輸入框和兩個按鈕在登陸框中的位置是固定的。
為了實現(xiàn)自動控制登陸的目的，首先要啟動QQ程序，一種辦法是在已知程序文件所在位置時，通過調(diào)用API函數(shù)WinExe來啟動程序，然后獲取計算機屏幕大小，然后通過獲取程序的句柄，通過API函數(shù)GetWindowRect獲取窗體大小和窗體位置，由于兩個輸入框和兩個按鈕在登陸框中的位置是固定的，可以計算出兩個輸入框和兩個按鈕的位置，或者可以通過API函數(shù)SetWindowPos設(shè)置窗體的位置到屏幕某一處，然后，先控制鼠標移動到輸入用戶名的輸入框位置，模擬鼠標左鍵單擊事件設(shè)置選中輸入框，然后模擬鍵盤輸入設(shè)定的用戶名，同樣的方法輸入密碼，然后控制鼠標移動到確定按鈕的位置。
對于登陸框位置和兩個輸入框和兩個按鈕位置的確定也可以通過圖像分析的辦法來實現(xiàn)，這對于那些控件位置不確定的程序來說尤為重要。
本發(fā)明優(yōu)選實施例之二實現(xiàn)兩個程序之間的數(shù)據(jù)交換假設(shè)有兩個應(yīng)用程序A和B，應(yīng)用程序A需要利用應(yīng)用程序B來進行一些計算，但是應(yīng)用程序B并沒有提供一個可用的接口，但是提供了一個用戶界面，可以在此界面上輸入已知參數(shù)，然后點擊按鈕開始計算。在這種情況下也可以在應(yīng)用程序A中采用優(yōu)選實施例之一所述方法來實現(xiàn)對應(yīng)用程序B的操作。
本發(fā)明優(yōu)選實施例之三可以編寫一個完整的自動控制軟件來實現(xiàn)對操作系統(tǒng)和其他軟件的自動控制。所述自動控制軟件提供一個操作平臺，要提供豐富的功能，可以制作針對各種常用的軟件的插件，在這些插件里包含了對這些軟件的控制方法，并且可以被所述自動控制軟件識別。在裝載了這些插件之后，我們就可以在所述自動控制軟件中定義對相應(yīng)軟件的操作。
權(quán)利要求
1.一種基于模擬輸入和圖像分析的自動控制軟件技術(shù)，其特征在于，所述自動控制軟件技術(shù)，通過模擬鼠標輸入、鍵盤輸入來實現(xiàn)自動控制操作系統(tǒng)和其他軟件的功能。
2.根據(jù)權(quán)利要求1所述的自動控制軟件技術(shù)，其特征在于，通過對計算機屏幕圖像的分析來獲取操作對象的信息。
3.根據(jù)權(quán)利要求1所述的自動控制軟件技術(shù)，其特征在于，通過獲取操作對象的句柄來獲取操作對象的信息。
4.根據(jù)權(quán)利要求1或2或3所述的自動控制軟件技術(shù)，其特征在于，可以通過對特定插件的調(diào)用來獲取對特定軟件的操作方法。
全文摘要
通常，我們使用電腦時都是通過人工控制鼠標和鍵盤來完成各項操作。但是，當需要做大量重復(fù)性工作，或者用戶需要暫時離開，或者當兩個應(yīng)用程序軟件之間需要進行數(shù)據(jù)交換而又沒有公開可用的接口時，通過人工操作的方式就存在很大的不足。對此，本發(fā)明提供了一種可行的解決方案。本發(fā)明所解決的技術(shù)問題是提供一種通過模擬鼠標輸入、鍵盤輸入結(jié)合計算機屏幕圖像分析來實現(xiàn)自動控制操作系統(tǒng)和其他軟件的軟件技術(shù)，可以用于自動化辦公和間接實現(xiàn)程序間的接口編程。
文檔編號G06F9/44GK1945532SQ200610145490
公開日2007年4月11日 申請日期2006年11月20日 優(yōu)先權(quán)日2006年11月20日
發(fā)明者張斌, 張登科 申請人:張登科