本發(fā)明涉及音視頻處理領(lǐng)域，更具體的說(shuō)，其涉及用于一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法。

背景技術(shù)：

一直以來(lái)，音樂(lè)都是一種表達(dá)情感的藝術(shù)形式，但是傳統(tǒng)意義上的聽(tīng)音樂(lè)已經(jīng)不能滿(mǎn)足人們對(duì)色彩斑斕世界的追求，因此音樂(lè)可視化應(yīng)運(yùn)而生。又恰逢計(jì)算機(jī)技術(shù)在圖像處理、虛擬現(xiàn)實(shí)、數(shù)字信號(hào)處理等方面有了長(zhǎng)足發(fā)展，為音樂(lè)可視化技術(shù)進(jìn)一步發(fā)展奠定了基礎(chǔ)。音樂(lè)頻譜的視覺(jué)展現(xiàn)是其中的重要內(nèi)容，但已有的音樂(lè)頻譜繪制效果單調(diào)，基本都是基于柱狀圖的變化來(lái)體現(xiàn)；且視覺(jué)效果呈現(xiàn)缺乏聽(tīng)覺(jué)視覺(jué)的互動(dòng)感，在視覺(jué)上的節(jié)奏感不強(qiáng)，整體體驗(yàn)較差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法，使得整個(gè)過(guò)程快速流暢、可視化強(qiáng)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法，具體包括如下步驟：

101)初始化參數(shù)步驟：由任務(wù)調(diào)度器初始化圖形計(jì)算器與音頻分析器的相關(guān)參數(shù)；

102)音頻分析步驟：由步驟101)初始化的音頻參數(shù)觸發(fā)音頻分析器進(jìn)行分析，將音頻數(shù)據(jù)按照時(shí)間進(jìn)行數(shù)據(jù)分塊分析，并對(duì)分析結(jié)果進(jìn)行緩存，以供調(diào)用；

103)調(diào)取音頻數(shù)據(jù)步驟：由任務(wù)調(diào)度器根據(jù)時(shí)間值從步驟102)的分析結(jié)果中獲取該時(shí)間值內(nèi)的分析結(jié)果；

104)數(shù)據(jù)轉(zhuǎn)換步驟：將步驟103)獲取的數(shù)據(jù)根據(jù)設(shè)定的轉(zhuǎn)換方式轉(zhuǎn)化為圖形參量數(shù)據(jù)；

105)圖形處理步驟：由圖形處理模塊將步驟104)轉(zhuǎn)化后的數(shù)據(jù)結(jié)合步驟101)初始化時(shí)給出的相關(guān)參數(shù)，獲得幾何描述參量，并根據(jù)幾何描述參量由opengl渲染上效果，所述opengl為一個(gè)提供跨編程語(yǔ)言、跨平臺(tái)的編程接口規(guī)格的專(zhuān)業(yè)的圖形程序。

進(jìn)一步的，所述步驟101)所述圖形計(jì)算器的參數(shù)包括圖形數(shù)量，每個(gè)圖形的形狀，每個(gè)圖形的最大最小尺寸，圖形的顏色，圖形在圖形容器里的坐標(biāo)，圖形容器相對(duì)背景的坐標(biāo)；所述音頻分析器的參數(shù)包括要分析的目標(biāo)音樂(lè)文件，輸出的頻段范圍，頻點(diǎn)數(shù)，映射系數(shù)，映射的輸出值范圍。

進(jìn)一步的，所述步驟102)音頻分析具體步驟如下：

301)音視頻同步步驟：由步驟101)的音頻分析器按音頻時(shí)間進(jìn)行數(shù)據(jù)分塊，達(dá)到音視頻效果同步；

302)基于fft快速頻譜分析步驟：將對(duì)步驟301)的音頻信息通過(guò)fft進(jìn)行分析，獲取音頻參數(shù)，并緩存分析結(jié)果；所述fft即快速傅里葉變換為dft即離線(xiàn)傅里葉變換的一種改進(jìn)型快速處理音頻信息的方法；

303)音頻信息的轉(zhuǎn)換步驟：將步驟302)得到的音頻信息根據(jù)相應(yīng)的數(shù)學(xué)映射轉(zhuǎn)化為幾何參量值，并緩存該結(jié)果，以備調(diào)用。

進(jìn)一步的，所述fft采用如下公式(2)進(jìn)行前半部分分析，公式(3)進(jìn)行后半部分分析：

其中x1(k),x2(k),分別是fft的輸入序列表示成偶點(diǎn)序列和奇點(diǎn)序列的n/2點(diǎn)dft,為的演化變式,j為虛數(shù)單位，e為自然常數(shù)，n為參數(shù)，n為有限長(zhǎng)序列的數(shù)量。

進(jìn)一步的，所述圖形處理具體包括如下步驟：

501)建立幾何模型步驟：基于笛卡爾坐標(biāo)系、球坐標(biāo)系，用統(tǒng)一的坐標(biāo)描述符描述坐標(biāo)模型、種類(lèi)、邏輯類(lèi)型、用途；并用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)對(duì)圖形進(jìn)行維度描述；

502)幾何參量轉(zhuǎn)換步驟：在步驟501)的基礎(chǔ)上由步驟103)的數(shù)據(jù)建立圖形屬性值，并依據(jù)所設(shè)定的可變性描述符修改圖形對(duì)應(yīng)的幾何參量；

503)幾何圖形處理步驟：根據(jù)步驟502)的圖形屬性值和圖形容器的幾何關(guān)系，通過(guò)矩陣變換獲取相應(yīng)的圖形的幾何參量，為圖形渲染提供數(shù)據(jù)依據(jù)，并可依據(jù)設(shè)定，實(shí)時(shí)修改屬性，實(shí)時(shí)處理更新。

進(jìn)一步的，所述圖形的維度描述包括圖形對(duì)象的幾何屬性的分析與抽象、定義圖形樣式、建立可變標(biāo)示符描述體系。

進(jìn)一步的，所述圖形對(duì)象的幾何屬性的分析與抽象包括圖形基本屬性、相應(yīng)派生的具體圖形和對(duì)圖形容器進(jìn)行分析與抽象，所述圖形容器的基本屬性包括錨點(diǎn)，父容器原點(diǎn)坐標(biāo)。

進(jìn)一步的，所述定義圖形樣式包括輪廓色、填充色、柔化程度、hue顏色空間的迭代次數(shù)，顏色對(duì)稱(chēng)性；所述hue為色調(diào)。

進(jìn)一步的，所述建立可變標(biāo)示符描述體系為用于描述不同坐標(biāo)系下，不同圖形，不同維度的幾何參量的可變性，包括圖形自身的屬性、圖形容器在父容器中的錨點(diǎn)位置。

本發(fā)明相比現(xiàn)有技術(shù)優(yōu)點(diǎn)在于：

本發(fā)明為了提升音樂(lè)頻譜的節(jié)奏感、互動(dòng)感，實(shí)現(xiàn)了頻譜的實(shí)時(shí)高精度分析。實(shí)現(xiàn)了頻譜圖形種類(lèi)的多樣性，圖形參數(shù)變化的多樣性。實(shí)現(xiàn)了頻譜繪制的實(shí)時(shí)性，提升圖形圖像質(zhì)量。

通過(guò)以線(xiàn)程方式進(jìn)行高精度頻譜分析，一方面以并行處理的方式提高了軟件處理的效率，另一方面頻譜分析精度提高后，最終將減小映射圖形的顆粒度，畫(huà)質(zhì)的分辨率可以得到提升。同時(shí)高精度頻譜分析，可輸出更多維度的數(shù)據(jù)，可以使得后期圖形處理可選擇的數(shù)據(jù)就多，有利于視覺(jué)圖形的多樣性。這一步是先從數(shù)據(jù)源頭上進(jìn)行改進(jìn)。

在圖形種類(lèi)上加以豐富，不僅僅局限于常見(jiàn)的矩形，還可以使用圓，橢圓，點(diǎn)，線(xiàn)，多邊形等。同時(shí)可以圖形可變化的參量也加以豐富，可變化各種圖形的自身尺寸，空間位置等。這樣頻譜數(shù)據(jù)可驅(qū)動(dòng)的數(shù)據(jù)項(xiàng)就大幅增加，效果將更加豐富。

通過(guò)使用opengl技術(shù)，可有效提升圖像質(zhì)量及渲染性能，可為使用者提供更好的視覺(jué)體驗(yàn)與互動(dòng)感。

附圖說(shuō)明

圖1為本發(fā)明一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法的整體流程時(shí)序圖；

圖2為本發(fā)明一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法的幾何建模中的組合關(guān)系圖；

圖3為本發(fā)明一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法的音頻分析器流程圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)一步說(shuō)明。

如圖1和圖2所示，一種實(shí)時(shí)音樂(lè)頻譜矢量圖形的繪制方法，具體包括如下步驟：

101)初始化參數(shù)步驟：由任務(wù)調(diào)度器初始化圖形計(jì)算器與音頻分析器的相關(guān)參數(shù)。所述圖形計(jì)算器的參數(shù)包括圖形數(shù)量，每個(gè)圖形的形狀，每個(gè)圖形的最大最小尺寸，圖形的顏色，圖形在圖形容器里的坐標(biāo)，圖形容器相對(duì)背景的坐標(biāo)等參數(shù)；所述音頻分析器的參數(shù)包括要分析的目標(biāo)音樂(lè)文件，輸出的頻段范圍，頻點(diǎn)數(shù)，映射系數(shù)，映射的輸出值范圍。

102)音頻分析步驟：由步驟101)初始化的音頻參數(shù)觸發(fā)音頻分析器進(jìn)行分析，將音頻數(shù)據(jù)按照時(shí)間進(jìn)行數(shù)據(jù)分塊分析，并對(duì)分析結(jié)果進(jìn)行緩存，以供調(diào)用。音頻分析具體步驟如下：

301)音視頻同步步驟：由步驟101)的音頻分析器按音頻時(shí)間進(jìn)行數(shù)據(jù)分塊，達(dá)到音視頻效果同步。即由audio解碼器讀取出一段pcm數(shù)據(jù)即脈沖編碼調(diào)制數(shù)據(jù)，也就是音頻，并通過(guò)按音頻時(shí)間的時(shí)間步進(jìn)進(jìn)行數(shù)據(jù)分塊，以此達(dá)到音視頻效果同步，確保效果體驗(yàn)的實(shí)時(shí)互動(dòng)感。

302)基于fft快速頻譜分析步驟：將對(duì)步驟301)的音頻信息通過(guò)fft進(jìn)行分析，獲取音頻參數(shù)，并緩存分析結(jié)果；所述fft即快速傅里葉變換為dft即離線(xiàn)傅里葉變換的一種改進(jìn)型快速處理音頻信息的方法。

所述dft采用如下公式(1)進(jìn)行頻譜分析：

其中n為有限長(zhǎng)序列的數(shù)量，x(n)為有限長(zhǎng)序列的表達(dá)式,j為虛數(shù)單位，e為自然常數(shù)。對(duì)于n點(diǎn)有限長(zhǎng)序列，dft需要進(jìn)行4n²次乘法運(yùn)算，計(jì)算的時(shí)間復(fù)雜度為o(n²)。而為了要想獲取高精度頻譜分析結(jié)果，n值一般在512以上，此時(shí)的計(jì)算量很大，將直接導(dǎo)致該方法的實(shí)時(shí)性很差。作為dft的一種快速算法，fft要求輸入序列的數(shù)量n＝2^l，(l是為方便用指數(shù)形式表示序列個(gè)數(shù)的一個(gè)數(shù)學(xué)表示量，例如:l＝1，序列個(gè)數(shù)2l＝2；l＝2序列個(gè)數(shù)2l＝4...)如果不滿(mǎn)足這個(gè)條件，可以人為地加上若干零值點(diǎn)，使之達(dá)到這一要求。fft的輸入序列可以分別表示成如下公式(4)偶點(diǎn)序列x1(r)和奇點(diǎn)序列x2(r)，r為序列的索引值：

進(jìn)而dft的表達(dá)式可以拆分為如下公式(5)：

其中進(jìn)而公式進(jìn)一步演變成為如下公式(6)：

x1(k)和x2(k)分別是x1(r)和x2(r)的n/2點(diǎn)，從而演化的公式(7)：

可以看出，一個(gè)n點(diǎn)dft已分解成兩個(gè)n/2點(diǎn)的dft，他們又組成一個(gè)n點(diǎn)dft。而x1(k)和x2(k)以及x1(r)和x2(r)都是n/2點(diǎn)序列，x(k)卻有n點(diǎn)。用上述計(jì)算得到的只是x(k)的前一半項(xiàng)數(shù)結(jié)果，要想利用x1(k)和x2(k)得到x(k)的全部的值的話(huà)，需利用復(fù)指數(shù)根的周期性如下公式(8)：

從而可以得到如下公式(9)：

x1(k+n/2)＝x1(k),x2(k+n/2)＝x2(k)公式(9)

同時(shí)也具有周期性，從而得出如下公式(10)：

結(jié)合公式(9)和公式(10)可得到完整的n點(diǎn)fft的表達(dá)式為，如下公式(2)進(jìn)行前半部分分析，公式(3)進(jìn)行后半部分分析：

做這樣的分解分析計(jì)算后，乘法計(jì)算量減半，同時(shí)因?yàn)檩斎氲膄ft序列個(gè)數(shù)為2^l，因此還可以進(jìn)一步一直分解，最后分解為2點(diǎn)dft，分解次數(shù)為log2n，最終的算法時(shí)間復(fù)雜度為o(nlog2n)。這樣相比原始的dft，fft的時(shí)間復(fù)雜度大幅縮減。以n＝1024為例，耗時(shí)與dft差2個(gè)數(shù)量級(jí)。這為高精度頻譜分析提供了保證。也使得可以在手機(jī)端環(huán)境下流暢使用。

假設(shè)給定一首采樣頻率為44.1khz的音樂(lè)，利用前述fft方法，取n＝512，通過(guò)上述流程可得出頻譜分辨率為86hz的分析結(jié)果；如果取n＝1024，頻譜分辨率可達(dá)到43hz。同時(shí)，在目前主流手機(jī)設(shè)備上算法的實(shí)際運(yùn)行耗時(shí)在毫秒級(jí)別以下。

303)音頻信息的轉(zhuǎn)換步驟：將步驟302)得到的音頻信息根據(jù)相應(yīng)的數(shù)學(xué)映射轉(zhuǎn)化為幾何參量值，并緩存該結(jié)果，以備調(diào)用。所述幾何參量比如為圓的半徑、原點(diǎn)坐標(biāo)等。

103)調(diào)取音頻數(shù)據(jù)步驟：由任務(wù)調(diào)度器根據(jù)時(shí)間值從步驟102)的分析結(jié)果中獲取該時(shí)間值內(nèi)的分析結(jié)果。即為得到某個(gè)圖形的最新幾何參量，任務(wù)調(diào)度器要給定某個(gè)時(shí)間值，向音頻分析器獲取該時(shí)間值下的分析結(jié)果。音頻分析器依據(jù)該時(shí)間值在緩存里搜索分析結(jié)果并返回。

104)數(shù)據(jù)轉(zhuǎn)換步驟：將步驟103)獲取的數(shù)據(jù)根據(jù)設(shè)定的轉(zhuǎn)換方式轉(zhuǎn)化為圖形參量數(shù)據(jù)。因?yàn)橐纛l分析器輸出的只是純數(shù)學(xué)值，所以任務(wù)調(diào)度器要依據(jù)設(shè)定，將其標(biāo)識(shí)成圖形的某個(gè)參量。比如：當(dāng)設(shè)定驅(qū)動(dòng)的是矩形的高時(shí)，將其轉(zhuǎn)換成尺寸的坐標(biāo)y值。如果設(shè)定的驅(qū)動(dòng)的是圖形的寬時(shí)，將其轉(zhuǎn)換成坐標(biāo)的x值。

105)圖形處理步驟：將新的圖形參數(shù)傳給圖形計(jì)算模塊，由圖形處理模塊將步驟104)轉(zhuǎn)化后的數(shù)據(jù)結(jié)合步驟101)初始化時(shí)給出的相關(guān)參數(shù)，圖形計(jì)算模塊在接收到某個(gè)圖形的最新參數(shù)后，將結(jié)合初始時(shí)給出的相關(guān)坐標(biāo)尺寸等信息計(jì)算最新的幾何描述參量。例如，當(dāng)某個(gè)矩形的高度發(fā)生變化后，矩形的4個(gè)頂點(diǎn)坐標(biāo)將發(fā)生變化，計(jì)算出最新的頂點(diǎn)坐標(biāo)，以供后續(xù)渲染使用。并根據(jù)幾何描述參量由opengl渲染上效果到目標(biāo)上，所述opengl為一個(gè)提供跨編程語(yǔ)言、跨平臺(tái)的編程接口規(guī)格的專(zhuān)業(yè)的圖形程序。

所述圖形處理，具體還包括如下步驟：

501)建立幾何模型步驟：基于笛卡爾坐標(biāo)系、球坐標(biāo)系，用統(tǒng)一的坐標(biāo)描述符描述坐標(biāo)模型、種類(lèi)、邏輯類(lèi)型、用途；并用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)對(duì)圖形進(jìn)行維度描述。所述圖形的維度描述包括圖形對(duì)象的幾何屬性的分析與抽象、定義圖形樣式、建立可變標(biāo)示符描述體系。所述圖形對(duì)象的幾何屬性的分析與抽象包括圖形基本屬性、相應(yīng)派生的具體圖形和對(duì)圖形容器進(jìn)行分析與抽象，所述圖形容器的基本屬性包括尺寸、旋轉(zhuǎn)角度、旋轉(zhuǎn)錨點(diǎn)、在坐標(biāo)系中的對(duì)齊方式等。相應(yīng)派生點(diǎn)、線(xiàn)、圓、橢圓、矩陣、多邊形等具體圖形及相應(yīng)處理。對(duì)圖形容器進(jìn)行分析與抽象，用于描述不同圖形之間的幾何排列關(guān)系。圖形容器的基本屬性有錨點(diǎn)，父容器原點(diǎn)坐標(biāo)等。所述定義圖形樣式包括輪廓色、填充色、柔化程度、hue顏色空間的迭代次數(shù)，顏色對(duì)稱(chēng)性等，其中所述hue為色調(diào)。所述建立可變標(biāo)示符描述體系為用于描述不同坐標(biāo)系下，不同圖形，不同維度的幾何參量的可變性，實(shí)際可變的幾何參量可以是圖形自身的屬性，比如圓的半徑、橢圓中心與坐標(biāo)原點(diǎn)的偏移程度、矩形的寬度等；也可以是某個(gè)圖形容器在父容器中的錨點(diǎn)位置(可影響該容器中的所有圖形個(gè)體)等。

以最終呈現(xiàn)出按圓周分布的柱狀頻譜圖為例。

每一個(gè)柱狀體即為矩形，用長(zhǎng)寬加以描述，最終將提取矩形的4個(gè)點(diǎn)坐標(biāo)進(jìn)行渲染。每個(gè)矩形都要將其錨定在圓周上一點(diǎn)，設(shè)圓周的半徑為r，某一點(diǎn)與圓心的連線(xiàn)與x軸的夾角為圓周上某點(diǎn)的極坐標(biāo)描述為同時(shí)需要呈圓心輻射狀，進(jìn)而每一個(gè)矩形還需要旋轉(zhuǎn)一定角度θ1。不同矩形的和θ1值不一樣。這樣這個(gè)容器里就包含了按圓周排布的一些列矩形圖形。

在實(shí)際計(jì)算時(shí)會(huì)用到極坐標(biāo)和直角坐標(biāo)的轉(zhuǎn)換，可利用下述公式(11):

r為圓周的半徑，為角度，x，y為定位坐標(biāo)值，這樣一個(gè)圓周，可以將其放到背景的任意位置，并用其圓心的坐標(biāo)來(lái)描述該容器在背景里的錨點(diǎn)位置。

給定一個(gè)矩形的長(zhǎng)寬后，其4個(gè)頂點(diǎn)的坐標(biāo)也被唯一的決定了，而最終渲染需要用到4個(gè)頂點(diǎn)的絕對(duì)坐標(biāo)，因此要依據(jù)上述相對(duì)關(guān)系，進(jìn)行一系列換算。以矩形的左上點(diǎn)plt(x0,y0)為例:

plt首先要平移到其在容器里的錨點(diǎn)位置，x/y的平移量，可利用上述公式進(jìn)行轉(zhuǎn)換。假設(shè)其平移量為(δx1,δy1)。移到錨點(diǎn)后，plt還要繞錨點(diǎn)旋轉(zhuǎn)角度θ1。最終的絕對(duì)坐標(biāo)，還要考慮容器在背景的中的坐標(biāo)，假設(shè)容器在背景的錨點(diǎn)坐標(biāo)為(x2,y2)，則相應(yīng)的平移量為(δx2,δy2)。涉及到坐標(biāo)平移，旋轉(zhuǎn)可利用以下變換矩陣公式(12)進(jìn)行計(jì)算：

結(jié)合本例，plt最終的絕對(duì)坐標(biāo)(x0′,y0′)可通過(guò)下述公式(13)進(jìn)行計(jì)算：

其中(δx2,δy2)為錨點(diǎn)坐標(biāo)為(x2,y2)的平移量。

502)幾何參量轉(zhuǎn)換步驟：在步驟501)的基礎(chǔ)上由步驟103)的數(shù)據(jù)建立圖形屬性值，并依據(jù)所設(shè)定的可變性描述符修改圖形對(duì)應(yīng)的幾何參量，為幾何計(jì)算處理提供原始數(shù)據(jù)。

503)幾何圖形處理步驟：根據(jù)步驟502)的圖形屬性值和圖形容器的幾何關(guān)系，通過(guò)矩陣變換獲取相應(yīng)的圖形的幾何參量，為圖形渲染提供數(shù)據(jù)依據(jù)，并可依據(jù)設(shè)定，實(shí)時(shí)修改屬性，實(shí)時(shí)處理更新。所述圖形渲染利用opengl進(jìn)行高性能圖形渲染，還利用了opengl的抗鋸齒功能，渲染高質(zhì)量圖形對(duì)象和利用opengl實(shí)現(xiàn)多樣式的矢量渲染。比如繪制描邊色與填充色不一樣的圖形、更具所設(shè)定的hue顏色空間迭代次數(shù)，計(jì)算不同圖形組中各個(gè)圖形的顏色，并做相應(yīng)繪制。所述hue為一個(gè)可快速開(kāi)發(fā)和調(diào)試hadoop生態(tài)系統(tǒng)各種應(yīng)用的一個(gè)基于瀏覽器的圖形化用戶(hù)接口。所述hadoop是一種分布式系統(tǒng)基礎(chǔ)架構(gòu)。

綜上所述，使用者可以通過(guò)在手機(jī)上提供的應(yīng)用程序，選定一首歌曲和效果模板。效果模板里包含了音頻分析參數(shù)與幾何矢量的參數(shù)描述。然后選擇播放，播放時(shí)，會(huì)利用上述模塊，進(jìn)行分析計(jì)算，并將結(jié)果矢量圖形渲染到顯示屏幕上。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明保護(hù)范圍內(nèi)。