本發(fā)明涉及信息技術(shù)與媒體傳播領(lǐng)域，尤其涉及基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法。

背景技術(shù)：

1、信息技術(shù)指的是用于管理和處理信息的技術(shù)，包括計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信等。在媒體傳播領(lǐng)域，信息技術(shù)被廣泛應(yīng)用，以提高信息獲取、存儲(chǔ)、處理和傳播的效率和質(zhì)量。

2、當(dāng)前信息技術(shù)與媒體傳播領(lǐng)域的視頻流媒體服務(wù)中仍面臨一些挑戰(zhàn)，包括如下方面：信息處理不全面，在處理視頻內(nèi)容時(shí)，可能只關(guān)注了單一模態(tài)的信息（如僅關(guān)注視覺信息），而忽視了其他模態(tài)的信息（如聽覺信息和文本信息），導(dǎo)致信息處理的全面性不足；傳輸效率和質(zhì)量不高，當(dāng)前的數(shù)據(jù)傳輸方法可能缺乏對(duì)視頻內(nèi)容特征的有效提取和編碼，導(dǎo)致傳輸效率和質(zhì)量不高，無法滿足用戶對(duì)高清、流暢視頻體驗(yàn)的需求；缺乏動(dòng)態(tài)調(diào)整機(jī)制，在數(shù)據(jù)傳輸過程中，以往的方法無法根據(jù)視頻內(nèi)容的網(wǎng)絡(luò)狀況等因素來優(yōu)化傳輸策略，從而影響了傳輸?shù)姆€(wěn)定性和準(zhǔn)確性；針對(duì)這些挑戰(zhàn)，需要采取相應(yīng)的解決辦法和技術(shù)手段來提高視頻流媒體服務(wù)中的信號(hào)數(shù)據(jù)傳輸效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決背景技術(shù)中的問題，而提出的基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法，包括：

4、步驟一、通過融合視頻流媒體服務(wù)中的多模態(tài)信息，獲取融合特征矩陣；

5、步驟二、根據(jù)獲取的融合特征矩陣，構(gòu)建高級(jí)語言模型，并生成傳輸信號(hào)矩陣；

6、步驟三、基于獲取的融合特征矩陣和生成的傳輸信號(hào)矩陣進(jìn)行計(jì)算分析，并動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)；

7、步驟四、創(chuàng)建自適應(yīng)反饋循環(huán)機(jī)制，用于調(diào)整和優(yōu)化數(shù)據(jù)信號(hào)傳輸過程中的誤差信號(hào)矩陣，從而確定最優(yōu)傳輸策略。

8、需要說明的是，本發(fā)明提出的基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法可以廣泛適用于信息技術(shù)與媒體傳播領(lǐng)域中的視頻流媒體服務(wù)，該方法可以用于優(yōu)化數(shù)據(jù)傳輸，具體的可以為通過張量分解、高級(jí)語言模型構(gòu)建、相似性度量和自適應(yīng)反饋循環(huán)機(jī)制等技術(shù)對(duì)視頻內(nèi)容的多模態(tài)數(shù)據(jù)進(jìn)行全面分析和精準(zhǔn)評(píng)估，通過動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)和最小化誤差信號(hào)矩陣等多個(gè)環(huán)節(jié)，確保了數(shù)據(jù)傳輸?shù)臏?zhǔn)確性和穩(wěn)定性，促進(jìn)了視頻流媒體服務(wù)的高效運(yùn)行；同時(shí)，該方法滿足了當(dāng)前視頻流媒體服務(wù)對(duì)數(shù)據(jù)傳輸質(zhì)量和效率迫切提升的需求，實(shí)現(xiàn)了視頻內(nèi)容的快速、準(zhǔn)確傳輸。

9、進(jìn)一步的，通過融合視頻流媒體服務(wù)中的多模態(tài)信息，獲取融合特征矩陣的過程包括：

10、獲取視頻流媒體服務(wù)中的多模態(tài)信息；其中，多模態(tài)信息具體包括視覺信息、聽覺信息以及文本信息；

11、將視覺信息標(biāo)記為矩陣；其中，表示視頻圖像的高度，表示視頻圖像的寬度，表示時(shí)間幀數(shù)；不直接表示某個(gè)具體的含義或變量，而是用于指示矩陣或張量的元素類型屬于實(shí)數(shù)集；

12、將聽覺信息標(biāo)記為矩陣；其中，表示視頻音頻信號(hào)的數(shù)量，表示視頻音頻信號(hào)的采樣率，表示時(shí)間幀數(shù)；

13、將文本信息標(biāo)記為矩陣；其中，表示視頻文本信息特征的維度，表示視頻文本數(shù)據(jù)的數(shù)量，即字幕的幀數(shù)或評(píng)論的數(shù)量；

14、使用張量分解融合多模態(tài)信息，將每種模態(tài)信息分別展開為向量，并進(jìn)行拼接：依次將視覺信息矩陣、聽覺信息矩陣以及文本信息矩陣分別展開為視覺向量、聽覺向量以及文本向量；其中，表示將矩陣展開為向量的操作；

15、對(duì)展開的視覺向量、聽覺向量以及文本向量進(jìn)行拼接，形成一個(gè)融合向量，并對(duì)其進(jìn)行svd分解：，式中，表示融合特征矩陣，為正交矩陣，表示矩陣的轉(zhuǎn)置，表示對(duì)角矩陣，包含的奇異值，且奇異值表示中的關(guān)鍵特征；其中，融合特征矩陣有效地融合了來自不同模態(tài)的關(guān)鍵信息；

16、可理解的是，在視頻流媒體服務(wù)中，視頻內(nèi)容包含視覺(圖像幀)聽覺(音頻)以及文本(如字幕、評(píng)論)等多種模態(tài)的信息；通過綜合處理多模態(tài)信息，能夠同時(shí)處理視頻中的視覺、聽覺和文本信息，提高了信息處理的全面性和準(zhǔn)確性；將這些信息分別標(biāo)記為矩陣形式，其中視覺信息以圖像高度、寬度和時(shí)間幀數(shù)構(gòu)成的三維矩陣表示；聽覺信息以音頻信號(hào)數(shù)量、采樣率和時(shí)間幀數(shù)構(gòu)成的三維矩陣表示；文本信息則以文本信息特征的維度和視頻文本數(shù)據(jù)的數(shù)量構(gòu)成的二維矩陣表示；使用張量分解技術(shù)，將不同模態(tài)信息有效地融合在一起，形成一個(gè)統(tǒng)一的特征矩陣，便于后續(xù)的處理和分析；svd分解能夠提取出融合特征矩陣中的關(guān)鍵特征（奇異值），這些特征對(duì)于理解和分析視頻內(nèi)容具有重要意義；通過關(guān)鍵特征提取，可以優(yōu)化數(shù)據(jù)傳輸過程，減少冗余信息，提高傳輸效率；綜上所述，該步驟可以應(yīng)用于各種視頻流媒體服務(wù)中，不受特定平臺(tái)或格式的限制，具有廣泛的適用性。

17、進(jìn)一步的，根據(jù)獲取的融合特征矩陣，構(gòu)建高級(jí)語言模型，并生成傳輸信號(hào)矩陣的過程包括：

18、獲取融合特征矩陣；

19、定義高級(jí)語言模型的權(quán)重矩陣；其中，高級(jí)語言模型的權(quán)重矩陣用于在融合特征矩陣和傳輸信號(hào)矩陣之間建立線性關(guān)系，其維度是，表示權(quán)重矩陣的維度，分別表示視覺特征數(shù)量、聽覺特征數(shù)量以及文本特征數(shù)量；

20、結(jié)合融合特征矩陣和權(quán)重矩陣，構(gòu)建高級(jí)語言模型：

21、，式中，表示輸出的傳輸信號(hào)矩陣，是經(jīng)過多層線性變換和非線性激活函數(shù)處理后的最終傳輸信號(hào)矩陣，在視頻流媒體服務(wù)中，該傳輸信號(hào)矩陣代表對(duì)視頻內(nèi)容的編碼或特征表示，用于后續(xù)的傳輸或處理；表示非線性激活函數(shù)，在構(gòu)建高級(jí)語言模型框架時(shí)，通過非線性激活函數(shù)引入非線性特性，增強(qiáng)模型的表達(dá)能力；表示雙曲正切函數(shù)，用于將輸入值映射到0和1之間，即將高級(jí)語言模型最終的傳輸信號(hào)矩陣歸一化到預(yù)設(shè)范圍內(nèi)；表示傳輸信號(hào)矩陣的可調(diào)節(jié)系數(shù)，用于控制不同模態(tài)特征在最終傳輸信號(hào)矩陣中的貢獻(xiàn)，通過調(diào)整這些系數(shù)來平衡不同模態(tài)的重要性，從而優(yōu)化模型的性能；表示線性整流函數(shù)，用于將所有負(fù)值置為0，而保持正值不變，使得高級(jí)語言模型能夠?qū)W習(xí)復(fù)雜的模式；表示額外特征矩陣，即包含其他與視頻流媒體服務(wù)相關(guān)的特征，例如用戶行為數(shù)據(jù)、網(wǎng)絡(luò)狀況信息等，這些特征作為補(bǔ)充信息，幫助模型更好地理解視頻內(nèi)容，并生成更準(zhǔn)確的傳輸信號(hào)矩陣；表示偏置向量，即與權(quán)重矩陣維度相匹配的向量，用于在融合特征矩陣和傳輸信號(hào)矩陣之間引入額外的偏移量，即為最終輸出添加一個(gè)常數(shù)偏移量；

22、可理解的是，通過構(gòu)建高級(jí)語言模型，能夠?qū)W習(xí)并提取出視頻內(nèi)容的深層、抽象特征，有利于后續(xù)的傳輸或處理任務(wù)。

23、進(jìn)一步的，基于獲取的融合特征矩陣和生成的傳輸信號(hào)矩陣進(jìn)行計(jì)算分析，并動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)的過程包括：

24、獲取融合特征矩陣集合和對(duì)應(yīng)的高級(jí)語言模型的傳輸信號(hào)矩陣集合；其中，分別表示融合特征矩陣和索引傳輸信號(hào)矩陣，表示矩陣數(shù)量；

25、使用高級(jí)相似性度量方法計(jì)算融合特征矩陣和傳輸信號(hào)矩陣之間的相似性矩陣：

26、，式中，表示融合特征矩陣和傳輸信號(hào)矩陣之間的相似性值；表示第個(gè)融合特征矩陣；表示第個(gè)傳輸信號(hào)矩陣；表示融合特征矩陣和傳輸信號(hào)矩陣之間的特征距離；表示衰減因子，用于調(diào)整特征距離對(duì)相似性計(jì)算的影響，較大的值會(huì)使相似性計(jì)算對(duì)特征距離的變化更加敏感；表示計(jì)算融合特征矩陣和傳輸信號(hào)矩陣之間特征距離的索引；分別表示融合特征矩陣和傳輸信號(hào)矩陣的角度或方向特征（例如視頻幀中的運(yùn)動(dòng)方向、顏色分布等，將這些特征轉(zhuǎn)化為角度值）；表示角度差異影響因子，用于調(diào)整角度差異對(duì)相似性計(jì)算的影響；分別表示融合特征矩陣和傳輸信號(hào)矩陣的時(shí)間戳或時(shí)間相關(guān)特征（例如視頻幀的時(shí)間戳、傳輸信號(hào)的發(fā)送時(shí)間等）；表示時(shí)間差異影響因子，用于調(diào)整時(shí)間差異對(duì)相似性計(jì)算的影響；為常數(shù)項(xiàng)，用于避免分母為零的情況；表示角度差異計(jì)算中的參照值；

27、其中，通過計(jì)算可以得到一個(gè)介于0和1之間的值，這個(gè)值反映了融合特征矩陣和傳輸信號(hào)矩陣之間角度差異的相對(duì)大?。喝舻闹到咏?，則表示融合特征矩陣和傳輸信號(hào)矩陣之間的相似性高；若的值接近0，則表示融合特征矩陣和傳輸信號(hào)矩陣之間的相似性低；同樣，通過計(jì)算得到一個(gè)介于0和1之間的值，這個(gè)值反映了融合特征矩陣和傳輸信號(hào)矩陣之間時(shí)間差異的相對(duì)大?。寒?dāng)融合特征矩陣和傳輸信號(hào)矩陣之間的時(shí)間特征非常接近時(shí)，則的值接近1，表示該融合特征矩陣和傳輸信號(hào)矩陣之間的時(shí)間差異較小，相似性高；當(dāng)兩者時(shí)間差異較大時(shí)，則的值接近0，表示該融合特征矩陣和傳輸信號(hào)矩陣之間的相似性低；

28、根據(jù)相似性矩陣，動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)，即傳輸速率和編碼方式：

29、，式中，表示傳輸過程的索引，表示基于相似性矩陣調(diào)整傳輸速率和編碼方式的函數(shù)，分別表示函數(shù)對(duì)應(yīng)的標(biāo)準(zhǔn)傳輸參數(shù)，即標(biāo)準(zhǔn)傳輸速率和標(biāo)準(zhǔn)編碼方式；

30、可理解的是，根據(jù)融合特征矩陣和傳輸信號(hào)矩陣之間的相似性矩陣，動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)，這種動(dòng)態(tài)調(diào)整機(jī)制能夠根據(jù)視頻內(nèi)容的網(wǎng)絡(luò)狀況等因素，優(yōu)化信號(hào)傳輸?shù)男阅埽岣邆鬏斝屎唾|(zhì)量。

31、進(jìn)一步的，創(chuàng)建自適應(yīng)反饋循環(huán)機(jī)制，用于調(diào)整和優(yōu)化數(shù)據(jù)信號(hào)傳輸過程中的誤差信號(hào)矩陣，從而確定最優(yōu)傳輸策略的過程包括：

32、獲取輸出的傳輸信號(hào)矩陣；

33、設(shè)置期望傳輸信號(hào)矩陣為；

34、使用誤差度量方法計(jì)算誤差信號(hào)矩陣：

35、，式中，表示誤差信號(hào)矩陣；表示均方誤差；表示結(jié)構(gòu)相似性指數(shù)；表示加權(quán)系數(shù)，用于平衡和在整體誤差中的貢獻(xiàn)；

36、獲取信號(hào)傳輸參數(shù)，并將其標(biāo)記為，包括傳輸速率和編碼方式；

37、利用目標(biāo)函數(shù)最小化整體的誤差信號(hào)矩陣：

38、，式中，表示目標(biāo)函數(shù)最小化結(jié)果值；表示輸出函數(shù)；表示權(quán)重矩陣；

39、其中，目標(biāo)函數(shù)的迭代過程如下：

40、b1、為權(quán)重矩陣和信號(hào)傳輸參數(shù)選擇初始值；

41、b2、計(jì)算關(guān)于權(quán)重矩陣和信號(hào)傳輸參數(shù)的梯度：

42、，式中，分別表示權(quán)重矩陣和信號(hào)傳輸參數(shù)的梯度值；為偏導(dǎo)數(shù)符號(hào)；

43、b3、根據(jù)計(jì)算的梯度，更新權(quán)重矩陣和信號(hào)傳輸參數(shù)的值：

44、，式中，分別表示更新后的權(quán)重矩陣和信號(hào)傳輸參數(shù)；表示學(xué)習(xí)率，決定權(quán)重矩陣和信號(hào)傳輸參數(shù)的更新步長(zhǎng)；

45、b4、檢查是否滿足停止條件：若滿足，則停止迭代；否則，返回步驟b2繼續(xù)迭代；其中，停止條件為最大迭代次數(shù)或目標(biāo)函數(shù)的變化閾值；

46、可理解的是，通過創(chuàng)建自適應(yīng)反饋循環(huán)機(jī)制，該方法能夠不斷迭代更新權(quán)重矩陣和信號(hào)傳輸參數(shù)的值，以最小化誤差信號(hào)矩陣，從而不斷優(yōu)化傳輸策略，提高傳輸?shù)臏?zhǔn)確性和穩(wěn)定性。

47、與現(xiàn)有的技術(shù)相比，本發(fā)明提供了基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法的優(yōu)點(diǎn)在于：

48、1、本發(fā)明通過融合視頻流媒體服務(wù)中的多模態(tài)信息，獲取融合特征矩陣，能夠更全面地反映視頻內(nèi)容，避免信息丟失或片面解讀，同時(shí)多種模態(tài)信息的相互補(bǔ)充和驗(yàn)證，可以提高信息處理的準(zhǔn)確性，為后續(xù)的傳輸或處理任務(wù)提供可靠的基礎(chǔ)；

49、2、本發(fā)明通過根據(jù)獲取的融合特征矩陣，構(gòu)建高級(jí)語言模型，并生成傳輸信號(hào)矩陣，有利于解析視頻內(nèi)容，并優(yōu)化傳輸信號(hào)的結(jié)構(gòu)和性能，通過根據(jù)獲取的融合特征矩陣和生成的傳輸信號(hào)矩陣進(jìn)行計(jì)算分析，并動(dòng)態(tài)調(diào)整信號(hào)傳輸參數(shù)，減少冗余信息，提高傳輸效率和質(zhì)量，同時(shí)保證視頻內(nèi)容的流暢性和清晰度；

50、3、本發(fā)明通過創(chuàng)建自適應(yīng)反饋循環(huán)機(jī)制，調(diào)整和優(yōu)化數(shù)據(jù)信號(hào)傳輸過程中的誤差信號(hào)矩陣，從而確定最優(yōu)傳輸策略，可以提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性和準(zhǔn)確性，降低傳輸過程中的誤差和失真，提高用戶體驗(yàn)。

51、綜上所述，本發(fā)明通過以上步驟相互關(guān)聯(lián)、相互促進(jìn)，共同構(gòu)成了基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法的完整流程，共同為數(shù)據(jù)傳輸?shù)母咝?、?zhǔn)確性和穩(wěn)定性提供了有力保障，確保后續(xù)基于大語言模型的綜合信號(hào)數(shù)據(jù)傳輸方法的正常實(shí)行。