本技術(shù)涉及大模型數(shù)據(jù)處理，具體涉及支持邊緣計(jì)算設(shè)備的大模型高質(zhì)推理方法及系統(tǒng)。

背景技術(shù)：

1、大模型高質(zhì)推理是指通過對(duì)大量數(shù)據(jù)的特征提取，訓(xùn)練大模型用于對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)或分類；在實(shí)際的課堂教育中，通常會(huì)在上課時(shí)段由多個(gè)課堂同時(shí)產(chǎn)生大量的語音數(shù)據(jù)，若將語音數(shù)據(jù)統(tǒng)一傳輸?shù)缴衔欢诉M(jìn)行大模型處理，會(huì)占用大量的通信、存儲(chǔ)、計(jì)算資源，因此需要對(duì)課堂語音數(shù)據(jù)進(jìn)行邊緣計(jì)算處理。在進(jìn)行邊緣計(jì)算處理時(shí)，由于邊緣計(jì)算設(shè)備的性能通常小于上位端設(shè)備，因此需要將上位端的大模型進(jìn)行知識(shí)蒸餾。

2、其中，知識(shí)蒸餾的目的是為了將大模型的知識(shí)遷移到小型模型中，利用較低的計(jì)算資源保證一定的數(shù)據(jù)處理能力，在蒸餾過程中，小型模型不僅學(xué)習(xí)到大模型中訓(xùn)練數(shù)據(jù)，還能夠通過知識(shí)遷移學(xué)習(xí)大模型訓(xùn)練過程中的標(biāo)簽信息和輸出信息。

3、隨著多媒體教育的普及發(fā)展，課堂產(chǎn)生的語音數(shù)據(jù)會(huì)受到多種噪音干擾，面對(duì)高干擾的課堂語音數(shù)據(jù)形成的訓(xùn)練數(shù)據(jù)，對(duì)大模型訓(xùn)練集中的數(shù)據(jù)質(zhì)量影響較大，使得小模型學(xué)習(xí)到的數(shù)據(jù)特征、標(biāo)簽信息和輸出信息具有較低的置信度，導(dǎo)致大模型推理計(jì)算不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本技術(shù)的目的在于提供支持邊緣計(jì)算設(shè)備的大模型高質(zhì)推理方法及系統(tǒng)，所采用的技術(shù)方案具體如下：

2、第一方面，本技術(shù)實(shí)施例提供了支持邊緣計(jì)算設(shè)備的大模型高質(zhì)推理方法，該方法包括以下步驟：

3、s1，獲取語音采集向量；

4、s2，根據(jù)以語音采集向量中的各元素為中心的不同長(zhǎng)度的時(shí)間窗口內(nèi)所有元素的頻域信息穩(wěn)定情況，得到各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的音素顯著度；根據(jù)以各元素為中心的不同長(zhǎng)度的時(shí)間窗口內(nèi)所有元素的自相似特征的對(duì)比情況，得到各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征；

5、s3，綜合各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征在與其在每個(gè)頻率處的音素顯著度得到各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的時(shí)頻特征值；根據(jù)所有元素對(duì)應(yīng)時(shí)刻在各頻率處的時(shí)頻特征值和能量幅值的分布離散情況，得到各頻率處的情緒顯著度；

6、s4，獲取語音采集向量的語音頻譜；根據(jù)各頻率處的情緒顯著度對(duì)語音采集向量的語音頻譜中各頻率的能量幅值進(jìn)行過濾后逆變換，得到過濾后的語音采集向量；采用邊緣計(jì)算設(shè)備對(duì)過濾后的語音采集向量進(jìn)行大模型推理。

7、進(jìn)一步，所述各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的音素顯著度的獲取方法，包括：

8、將以各元素為中心預(yù)設(shè)的短時(shí)窗口內(nèi)包含的所有元素組成的向量記為各元素的短時(shí)窗口向量；對(duì)各元素的短時(shí)窗口向量進(jìn)行頻域信息提取，得到各元素的短時(shí)窗口向量的語音頻譜；

9、獲取以各元素為中心預(yù)設(shè)的短時(shí)窗口、長(zhǎng)時(shí)窗口內(nèi)所有元素的短時(shí)窗口向量的語音頻譜中每個(gè)頻率對(duì)應(yīng)的能量幅值的標(biāo)準(zhǔn)差，作為各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的短時(shí)頻率穩(wěn)定性、長(zhǎng)時(shí)頻率穩(wěn)定性；其中，長(zhǎng)時(shí)窗口的長(zhǎng)度大于短時(shí)窗口的長(zhǎng)度；

10、根據(jù)各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的長(zhǎng)時(shí)頻率穩(wěn)定性與短時(shí)頻率穩(wěn)定性的對(duì)比情況，得到各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的音素顯著度。

11、進(jìn)一步，所述根據(jù)各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的長(zhǎng)時(shí)頻率穩(wěn)定性與短時(shí)頻率穩(wěn)定性的對(duì)比情況，得到各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的音素顯著度，包括：將語音采集向量中第n個(gè)元素對(duì)應(yīng)時(shí)刻在第k個(gè)頻率處的音素顯著度記為xn,k，；其中，an,k、bn,k分別為語音采集向量中第n個(gè)元素對(duì)應(yīng)時(shí)刻在第k個(gè)頻率處的長(zhǎng)時(shí)頻率穩(wěn)定性、短時(shí)頻率穩(wěn)定性；μ為預(yù)設(shè)大于0的常數(shù)。

12、進(jìn)一步，所述各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征的計(jì)算方法，包括：

13、以語音采集向量中的各元素為中心，構(gòu)建第一預(yù)設(shè)長(zhǎng)度的分形窗口；所述分形窗口的長(zhǎng)度大于短時(shí)窗口的長(zhǎng)度；將各元素的短時(shí)窗口、分形窗口內(nèi)所有元素組成的向量，分別采用盒子計(jì)數(shù)法計(jì)算分形維數(shù)，得到各元素的短時(shí)窗口、分形窗口的分形維數(shù)；將各元素的分形窗口的分形維數(shù)與短時(shí)窗口的分形維數(shù)的比值，作為各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征。

14、進(jìn)一步，所述綜合各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征在與其在每個(gè)頻率處的音素顯著度得到各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的時(shí)頻特征值，包括：將各元素對(duì)應(yīng)時(shí)刻的語音時(shí)域特征在與其在每個(gè)頻率處的音素顯著度的乘積作為各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的時(shí)頻特征值。

15、進(jìn)一步，所述各頻率處的情緒顯著度的獲取方法，包括：

16、對(duì)語音采集向量?jī)?nèi)各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的時(shí)頻特征值進(jìn)行歸一化，得到各元素在每個(gè)頻率處的正向特征權(quán)重；

17、將語音采集向量?jī)?nèi)各元素的短時(shí)窗口向量的語音頻譜中每個(gè)頻率處的能量幅值與各元素在每個(gè)頻率處的正向特征權(quán)重的乘積，作為各元素在每個(gè)頻率處的加權(quán)能量值；計(jì)算各頻率處所有元素的加權(quán)能量值的標(biāo)準(zhǔn)差，作為各頻率處的情緒顯著度。

18、進(jìn)一步，所述各元素在每個(gè)頻率處的正向特征權(quán)重的獲取方法，包括：

19、計(jì)算各元素在所有頻率處的時(shí)頻特征值的和值；將每個(gè)頻率處的時(shí)頻特征值與所述和值的比值，作為各元素對(duì)應(yīng)時(shí)刻在每個(gè)頻率處的正向特征權(quán)重。

20、進(jìn)一步，所述根據(jù)各頻率處的情緒顯著度對(duì)語音采集向量的語音頻譜中各頻率的能量幅值進(jìn)行過濾后逆變換，得到過濾后的語音采集向量，包括：

21、對(duì)所有頻率處的情緒顯著度進(jìn)行負(fù)映射歸一化，得到各頻率處的能量過濾權(quán)重；將語音采集向量的語音頻譜中各頻率的能量幅值與能量過濾權(quán)重的乘積，作為各頻率的過濾能量；將所有頻率的過濾能量組成過濾后的語音頻譜；對(duì)過濾后的語音頻譜進(jìn)行逆變換，得到過濾后的語音采集向量。

22、進(jìn)一步，所述對(duì)所有頻率處的情緒顯著度進(jìn)行負(fù)映射歸一化，得到各頻率處的能量過濾權(quán)重，包括：

23、獲取所有頻率處的情緒顯著度的最大值；計(jì)算所述最大值與各頻率處的情緒顯著度之間的差值；將所有頻率處所述差值的和值，記為第一和值；將各頻率處的情緒顯著度與第一和值的比值，作為各頻率處的能量過濾權(quán)重。

24、第二方面，本技術(shù)實(shí)施例還提供了支持邊緣計(jì)算設(shè)備的大模型高質(zhì)推理系統(tǒng)，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任意一項(xiàng)所述支持邊緣計(jì)算設(shè)備的大模型高質(zhì)推理方法的步驟。

25、本技術(shù)至少具有如下有益效果：

26、本技術(shù)針對(duì)課堂語音數(shù)據(jù)質(zhì)量不高導(dǎo)致出現(xiàn)大模型推理計(jì)算不準(zhǔn)確的問題，通過分析語音采集向量中的非人聲因素為干擾情緒識(shí)別的噪聲在頻域上的特征，對(duì)語音采集向量中各元素的短時(shí)窗口內(nèi)的數(shù)據(jù)進(jìn)行處理，得到語音課堂向量在不同時(shí)刻的頻譜，通過頻譜的能量穩(wěn)定持續(xù)時(shí)間計(jì)算音素顯著度，表征語音數(shù)據(jù)在同一時(shí)刻的不同頻率位置中包含的人聲成份；進(jìn)一步通過人聲語音在時(shí)域上以音素的時(shí)長(zhǎng)為參考設(shè)置短時(shí)窗口和分形窗口，用分形窗口內(nèi)的信號(hào)分形維數(shù)體現(xiàn)語音信號(hào)在長(zhǎng)時(shí)間時(shí)域上的低自相似性，用短時(shí)窗口的信號(hào)分形維數(shù)體現(xiàn)語音信號(hào)在較短時(shí)域窗口上的高自相似性，進(jìn)一步將兩種分形維數(shù)融合，得到語音時(shí)域特征；結(jié)合語音時(shí)域特征和音素顯著度，得到時(shí)頻特征值，表征不同時(shí)刻不同頻率位置中的語音成份含量；最后，針對(duì)語音信號(hào)能量起伏表征情緒的特點(diǎn)，結(jié)合時(shí)頻特征值得到情緒顯著度處理語音采集向量，對(duì)表征人聲語音的信號(hào)能量成份進(jìn)行數(shù)據(jù)過濾增強(qiáng)，完成對(duì)語音采集向量中有關(guān)情緒的數(shù)據(jù)特征增強(qiáng)操作，提高了語音數(shù)據(jù)質(zhì)量，避免了因?yàn)檎Z音數(shù)據(jù)質(zhì)量不高導(dǎo)致的大模型推理計(jì)算不準(zhǔn)確的問題。