專利名稱：二網(wǎng)合一的移動多媒體可視電話及其實現(xiàn)方法
二網(wǎng)合一的移動多媒體可視電話及其實現(xiàn)方法， 二是Wi-Fi模塊[2]，三是視頻和非通話音頻處理電路 [3]。第一部分的原理和實現(xiàn)方法與普通GSM手機完全相同，不再贅述。第二部份的作用是 進(jìn)行Internet的無線訪問，采用支持無線局域網(wǎng)802.11b/g的芯片實現(xiàn)。第三部分的作用主要
有二 r是實現(xiàn)視頻通信，二是支持其他多媒體服務(wù)。視頻通信功能的實現(xiàn)采用攝像頭與LCD 顯示屏進(jìn)行視頻數(shù)據(jù)采集與顯示；通過相關(guān)圖像算法可以把攝像頭采集到的YUV422格式原 始視頻數(shù)據(jù)，轉(zhuǎn)換為可得到符合液晶屏顯示的RGB565格式視頻數(shù)據(jù)與符合網(wǎng)絡(luò)傳輸?shù)腍.264 格式視頻數(shù)據(jù)流，經(jīng)過位于IP網(wǎng)絡(luò)的視頻交換服務(wù)器的傳送到達(dá)對方手機解碼顯示。本部分 還可對其他視頻、音頻信號進(jìn)行采集、編碼、顯示，支持其他多媒體服務(wù)。
本發(fā)明的手機電路第三部分[3]包括模擬信號處理部分[301],數(shù)字信號預(yù)處理部分[302], 編、解碼部分[303]，接口部分[304]，主控系統(tǒng)部分[305]以及視頻攝像頭和液晶顯示屏等。
模擬信號處理部分[301]則包括音頻模擬信號處理部分[301-1]和視頻模擬信號處理部分 [301-2]，數(shù)字信號預(yù)處理部分[302]包括音頻的預(yù)處理[302-1]和視頻的預(yù)處理[302-2]，編/解碼部 分[303]包括音頻部分[303-l]和視頻部分[303-2],接口部分[304]包括SDIO接口 [304-3],SDRAM 存儲器接口 [304-2],鍵盤/鍵盤接口 [304-4]，Nand Flash/Nand Flash接口 [304-1];應(yīng)用程序和相關(guān) 數(shù)據(jù)存儲于Nand FLASH[304-1中；主控系統(tǒng)[305]由數(shù)字媒體處理器核DSP[305-3]，音頻 MPEG3編/解碼模塊[305-l]和視頻編/解碼模塊H264H [305-2],鍵盤/電話控制單片機[305-5]和 接口控制單片機[305-4]以及視頻撥號/振鈴處理模塊[305-6]組成。
信號處理。發(fā)送時，音、視頻模擬信號處理部分[301]采集或接收音、視頻輸入信號，處 理后送入數(shù)字信號預(yù)處理部分[302]，接收時處理從數(shù)字預(yù)處理部分[302]傳來的信號并輸出模 擬的音、視頻輸出信號；發(fā)送時，數(shù)字信號預(yù)處理部分[302]處理從模擬信號處理部分[302] 傳來的話音或視頻信號，然后送往編/解碼部分[303]，接收時，處理從編/解碼部分[303]傳來 的音、視頻信號，然后送往模擬信號處理部分[301];發(fā)送時，編/解碼部份[303]對經(jīng)預(yù)處理的 音、視頻的格式進(jìn)行變換后成為主控系統(tǒng)[305]能夠進(jìn)行壓縮處理的信號，接收時處理主控系 統(tǒng)[305]傳來的信號；主控系統(tǒng)[305]對音頻信號進(jìn)行MPEAG3編碼、對視頻信號進(jìn)行H.264 編碼并把編碼碼流送往Wi-Fi模塊[2]發(fā)往Internet,或?qū)腤i-Fi模塊傳來的MPEAG3或H.264 碼流進(jìn)行解碼處理；對各接口電路進(jìn)行控制、處理；對鍵盤/電話事件進(jìn)行處理。其中視頻撥 號/振鈴處理模塊[305-6]用于在本發(fā)明的手機撥號或來電振鈴時査詢對方IP地址，是本發(fā)明 的手機間建立P2P連接實現(xiàn)視頻通話的關(guān)鍵之一。
本發(fā)明的手機可視互通流程與功能模塊。視頻部分互通的流程和主要功能模塊參見圖3， 包括本發(fā)明的手機登錄注冊、撥打呼叫/來電振鈴査詢對方IP地址信息、主叫方和被叫方 進(jìn)行網(wǎng)絡(luò)NAT穿透、視頻互通協(xié)商、視頻釆集/編解碼顯示、視頻碼流傳輸、視頻互通終止 協(xié)商。
本發(fā)明的手機登錄服務(wù)器流程。登錄過程參見圖4。為了對話機本發(fā)明的手機的入網(wǎng)進(jìn)行 管理控制，本發(fā)明的手機入網(wǎng)時需要向注冊服務(wù)器登錄注冊，只有通過注冊，才能進(jìn)行正常 的視頻通信，否則只能使用GSM進(jìn)行話音通信。注冊的信息包括本發(fā)明的手機ID、手機號 碼、本發(fā)明的手機類型、內(nèi)網(wǎng)IP地址等。本發(fā)明的手機發(fā)送的注冊信息包在通過NAT設(shè)備 時，映射成的公網(wǎng)IP地址和端口號亦被注冊服務(wù)器記錄。
與登錄注冊服務(wù)器相對應(yīng)，本發(fā)明的手機下線前應(yīng)向注冊服務(wù)器發(fā)送注銷信息，注銷過 程參見圖5，其操作碼與登錄操作碼相反。 撥號呼叫處理流程。該流程和下面的來電振鈴處理流程是實現(xiàn)"二網(wǎng)合一"的關(guān)鍵。參 見圖6，本發(fā)明的手機A撥號時，視頻撥號處理功能模塊捕獲所撥出的手機號碼,通過Wi-Fi 向Internet的視頻交換服務(wù)器發(fā)送撥號信令(撥號信息幀)，通知服務(wù)器當(dāng)前本發(fā)明的手機所 撥號碼，直到收到撥號響應(yīng)信令(連接信息幀，載有對方網(wǎng)絡(luò)IP地址、端口號和手機號碼信 息等)或掛機時停止發(fā)送；檢測返回的連接信息幀的手機號碼是否與所撥手機號碼相同，若 不相同，則停止視頻撥號功能；若相同，則以對方NAT映射的公網(wǎng)IP地址、端口號為目標(biāo) 開始網(wǎng)絡(luò)NAT穿透。
來電振鈴處理流程。參見圖7，本發(fā)明的手機B收到來電振鈴時，視頻來電處理功能模 塊捕獲并記錄來電號碼，通過Wi-Fi向Internet的視頻交換服務(wù)器發(fā)送心跳幀，以確定更新本 本發(fā)明的手機的網(wǎng)絡(luò)信息；同時向視頻交換服務(wù)器發(fā)送振鈴信令(振鈴幀)，直到收到振鈴響 應(yīng)幀(連接信息幀，載有對方網(wǎng)絡(luò)IP地址、端口號和手機號碼信息等)或掛機時停止發(fā)送振 鈴幀；檢測連接信息幀的手機號碼是否與來電號碼相同，若不相同，則停止視頻功能；若相 同，則以對方NAT映射的公網(wǎng)IP地址和端口號為目標(biāo)開始網(wǎng)絡(luò)NAT穿透。
本發(fā)明的手機間網(wǎng)絡(luò)NAT穿透功能模塊。模塊框圖參見圖8，兩臺本發(fā)明的手機進(jìn)行視 頻互通實際上是P2P的會話連接，本發(fā)明的網(wǎng)絡(luò)NAT穿透功能模塊使得本發(fā)明的手機的UDP 報文能穿越各種ConeNAT設(shè)備，實現(xiàn)互聯(lián)網(wǎng)上點到點的網(wǎng)絡(luò)互通。
視頻協(xié)商功能。該模塊的位置參見圖9。視頻協(xié)商主要是指在確認(rèn)雙方本發(fā)明的手機建 立了網(wǎng)絡(luò)互通后，達(dá)成視頻互通的一個協(xié)商過程，以確認(rèn)雙方正式開始進(jìn)行視頻流傳輸。是 啟動視頻采集、編碼、顯示、傳輸前的一個功能模塊。
視頻采集、編解碼、傳輸、顯示功能模塊。參見圖IO，該功能模塊集中了視頻的采集、 編解碼、傳輸、顯示等功能。視頻采集初始化主要是對COMS攝像頭進(jìn)行初始化，并開始對 攝像頭數(shù)據(jù)進(jìn)行采集、編碼等處理；當(dāng)每幀視頻編碼完畢后立即送至視頻傳輸子模塊，由其 負(fù)責(zé)視頻流在互聯(lián)網(wǎng)上的發(fā)送與接收；當(dāng)接收到完整的視頻數(shù)據(jù)時，即可將視頻數(shù)據(jù)提交給 解碼功能子模塊，由其負(fù)責(zé)對視頻流的解碼；視頻顯示功能主要是將采集到的本地視頻圖像 和接收到的對方的視頻顯示在液晶屏上。
視頻互通終止協(xié)商模塊。任意一方都有權(quán)首先掛機結(jié)束通話和視頻互通，以主叫方主動 掛機結(jié)束通話為例，其處理過程參見圖ll。 [


]
圖l為本發(fā)明的系統(tǒng)示意圖
圖2為本發(fā)明的手機電路組成框圖
圖3為本發(fā)明的手機視頻互通流程和主要功能模塊框圖
圖4為本發(fā)明的手機登錄注冊服務(wù)器注冊流程圖
圖5為本發(fā)明的手機向注冊服務(wù)器注銷流程圖
圖6為本發(fā)明的手機撥號呼叫時視頻處理流程圖
圖7為本發(fā)明的手機來電振鈴時視頻處理流程圖
圖8為本發(fā)明的手機間網(wǎng)絡(luò)NAT穿透流程圖
圖9為視頻協(xié)商功能框圖
圖10為視頻采集、編解碼、傳輸、顯示功能流程圖
圖11為終止視頻互通協(xié)商流程圖
圖12為本發(fā)明的手機硬件結(jié)構(gòu)框圖 [具體實施方式
I
實施例的本發(fā)明的手機硬件結(jié)構(gòu)參見圖12 (a)。其中視頻和非通話音頻處理部分采用 德州儀器的數(shù)字媒體處理芯片DM6441和微控制器MSP430為主構(gòu)成；無線訪問Internet部 分釆用Broadcom公司的BCM4318E單芯片實現(xiàn)，該芯片整合了 802.1 lb/g Baseband, MAC 和Radio。參見圖12 (b) ， DM6441是一款包含ARM9、 TMS320C64x+DSP內(nèi)核以及視頻/ 圖像協(xié)處理器的雙內(nèi)核SoC，該平臺是達(dá)芬奇技術(shù)基于便攜式應(yīng)用而開發(fā)的一款芯片。ARM9 是ARM公司的32位RISC(精簡指令集)處理核，支持JAVA,可支持多種高級的操作系統(tǒng)， 例如Linux、 WinCE等。C64x+核的DSP是TI的一個高性能DSP內(nèi)核，可以處理大量的運 算，可實現(xiàn)每秒30幀的H.264、 MPEG-2、 MPEG-4或VC1視頻性能，并且可完成較大分辨 率的RMVB播放，以及AVS的算法。視頻/圖像協(xié)處理器作為DSP的補充，可以加速和提高 算法的性能。
DM6441擁有視頻處理子系統(tǒng)，包括視頻處理前端和后端，有數(shù)字視頻接口、 CCD/CMOS 接口、預(yù)覽引擎、硬件縮放器、支持多種LCD屏，內(nèi)部集成視頻編碼器和4個DAC，支持 模擬視頻輸出。DM6441集成了當(dāng)前便攜式媒體應(yīng)用需要的主要外設(shè)，其中包括多種存儲卡 的接口(MMC/SD/SDIO/CF/MS/MS Pro)、 ATA硬盤驅(qū)動接口 、 USB2.0高速Host和Device,
以太網(wǎng)的支持等。
DM6441有多種省電方式。它具備兩種電源模式1.2V全速工作模式(513MHz DSP與 256MHz ARM)或1.05V省電工作模式(405MHz DSP與202MHz ARM)。當(dāng)應(yīng)用不需要很高處 理性能的情況下，就可以使用省電工作模式來減少功耗。DM6441還有時鐘門控制功能，在 內(nèi)部的各個功能模塊不使用時，也可以關(guān)閉其時鐘。由于ARM和DSP內(nèi)核的電源域相互隔 離，在不使用DSP時就可以關(guān)掉DSP的電源，進(jìn)一步省電。
通話和非通話音頻處理均使用德州儀器的TLV320AIC33芯片。TLV320DAC33是一低功 耗立體聲音頻Codec,立體聲耳機放大器和多輸入輸出的可編程為單端或全差分配置的器件， 該器件還包含基于寄存器的擴展的電源控制功能,使用3.3V模擬電源即可實現(xiàn)功耗低至 14mW的48KHz立體聲回放。
錄音通道包括可編程麥克風(fēng)偏壓,數(shù)字控制立體聲麥克風(fēng)前置放大器和自動增益控制。模 擬輸入具有混合/復(fù)用功能?；胤磐ǖ腊旌?多路復(fù)用功能，即從立體聲DAC與模擬輸入到
可編程音量控制,再到耳機輸出。
TLV320DAC33包含四個高功率輸出驅(qū)動器和三個全差分輸出驅(qū)動器。四個高功率驅(qū)動器 能夠驅(qū)動各種負(fù)載配置，其中包括釆用交流耦合電容器的四通道單端16歐耳機，或采用無電容 輸出配置的立體聲16歐耳機。此外,還可采用驅(qū)動器驅(qū)動BTL配置下的8歐揚聲器，每通道功
耗為500mW。而三個全差分輸出驅(qū)動器分別是立體聲全差分或單端耳機驅(qū)動器/全差分立體 聲線路輸出驅(qū)動器/全差分MONO輸出驅(qū)動器。
立體聲音頻DAC支持8kHz至96kHz的采樣速率，通過在DAC通道中采用可編程數(shù)字濾 波技術(shù),實現(xiàn)了 3D、低音、高音、中音效果,揚聲器均衡以及32kHz、 44.1kHz與48kHz速率
下的去加重效果。
串行控制總線可采用SPI或I2C協(xié)議，而串行音頻數(shù)據(jù)總線在多種模式下為可編程,其中包 括I2S、左/右對齊、DSP或TDM模式。該器件還提供高度可編程的PLL，以實現(xiàn)高靈活性的 時鐘生成，并支持各種可用MCLK的所有標(biāo)準(zhǔn)音頻速率,頻率范圍為512kHz至50MHz,其中要 特別注意的是最常見的12MHz、 13MHz、 16MHz、 19.2MHz與19.68MHz系統(tǒng)時鐘。
TLV320DAC32的工作模擬電源范圍為2.7V-3.6V，數(shù)字內(nèi)核電源范圍為1.525V-1.95V, 且數(shù)字I/O電源為1.1V-3.6V。內(nèi)部LDO穩(wěn)壓器允許該器件在內(nèi)部生成數(shù)字內(nèi)核邏輯所需的 較低電壓電源，因而可以在3.3V單電源電壓下正常工作。
本實施例操作系統(tǒng)使用嵌入式Linux,音頻編/解碼算法采用MP3，視頻編/解碼算法采用 H264。使用MSP430超低功耗微控制器處理鍵盤/電話事件，處理手機撥號號碼和來電號碼的 捕獲和撥號幀、振鈴幀的封裝等。音頻串行控制總線采用SPI協(xié)議，數(shù)據(jù)總線采用I2S模式。
權(quán)利要求
1.一種二網(wǎng)合一的手機及其實現(xiàn)方法，其特征在于使用GSM傳送話音、使用IP網(wǎng)絡(luò)傳送通話者視頻圖像并在終端同步還原，即通過Wi-Fi接入IP網(wǎng)絡(luò)并通過IP網(wǎng)絡(luò)實現(xiàn)手機之間的視頻通信，其關(guān)鍵的方法是1)各手機向注冊服務(wù)器注冊自己的手機號碼、機身碼、終端類型和內(nèi)網(wǎng)IP地址，2)雙方終端在呼叫撥號或來電振鈴時發(fā)送撥號包振鈴包向交換服務(wù)器查詢對方IP地址，進(jìn)而進(jìn)行視頻連接。
2. 根據(jù)權(quán)利要求1所述的手機，其特征在于通話者話音信號單獨由GSM 網(wǎng)絡(luò)傳送，通話者視頻圖像信號通過終端Wi-Fi模塊由IP網(wǎng)絡(luò)傳送。
3. 根據(jù)權(quán)利要求1所述的手機，其特征在于手機接入Internet上電后即向 注冊服務(wù)器發(fā)送注冊信息，注冊自己的手機號碼、機身碼、終端類型和內(nèi)網(wǎng)IP 地址等。
4. 根據(jù)權(quán)利要求1所述的手機，其特征在于手機在撥號或來電振鈴時將捕 獲對方手機的電話號碼，并編碼為撥號包或振鈴包，通過Wi-Fi送往位于Internet 的視頻交換服務(wù)器査詢該電話號碼對應(yīng)的IP地址。
5. 根據(jù)權(quán)利要求1所述的手機，其特征在于上電時、以及每隔一定的時間 間隔，向交換服務(wù)器發(fā)送心跳包。
6. 根據(jù)權(quán)利要求1所述的手機，其特征在于其電路組成由GSM模塊、Wi-Fi 模塊和視頻通信處理模塊組成。
全文摘要
本發(fā)明公開了一種融合GSM和Internet長處的，可視通話時話音和視頻圖像同時還原的手機及其實現(xiàn)方法。本發(fā)明是用使用GSM傳送話音、用Wi-Fi接入IP網(wǎng)絡(luò)通過IP網(wǎng)絡(luò)傳送通話者視頻圖像并在終端同步還原，其特征是手機上電后向位于Internet的注冊服務(wù)器發(fā)送心跳包注冊手機號碼和IP地址等信息，在主叫或被叫時捕獲對方手機號碼封裝為撥號包或振鈴包用以查詢對方手機IP地址、端口號等，建立視頻連接并在通話時傳送通話者視頻。
文檔編號H04L12/28GK101374168SQ200810028030
公開日2009年2月25日 申請日期2008年5月12日 優(yōu)先權(quán)日2008年5月12日
發(fā)明者碩 石, 蔡朝曦, 陳建國 申請人:陳建國;石 碩