[0236] 在本發(fā)明的實施例中，生物行為是通過提供圖形輸出的生物模型仿真的。圖形輸 出可W指任何形式的視覺或呈現(xiàn)的輸出。例如，產(chǎn)生行為和社交學(xué)習(xí)的大腦過程用來制作 可與用戶交互的臉部的逼真模型的動畫。在本發(fā)明的另一實施例中，所述模型可W應(yīng)用到 交互式動畫。所述動畫可W合并交互式行為和學(xué)習(xí)中設(shè)及的基本神經(jīng)系統(tǒng)的多尺度計算 模型。每個計算單元或模塊可W起自包含黑盒子的作用，能夠?qū)崿F(xiàn)任何尺度的一系列模型 (例如從單個神經(jīng)元到網(wǎng)絡(luò)）。模塊然后可W鏈接W創(chuàng)建形成模型的網(wǎng)絡(luò)或結(jié)構(gòu)。
[0237] 神經(jīng)行為模型使用底層神經(jīng)路徑或回路來產(chǎn)生行為。產(chǎn)生的神經(jīng)回路復(fù)雜度可W 從相對簡單的反饋環(huán)或神經(jīng)網(wǎng)到復(fù)雜的生物系統(tǒng)的呈現(xiàn)。因此，虛擬對象或數(shù)字實體包括 人或動物的大的模型，諸如小孩的臉W及其它任何呈現(xiàn)的或者能夠在虛擬或計算機(jī)產(chǎn)生或 實現(xiàn)的環(huán)境中使用的模型。在一些情況下，對象或?qū)嶓w可W是不完整的，他們可W局限于實 體的一部分，例如諸如手或臉的身體部分；特別是在不需要完整模型時。人或?qū)ο蟮幕砘?其它呈現(xiàn)包括于數(shù)字實體或虛擬對象的定義中。在一些實施例中，數(shù)字實體或虛擬對象的 人物或行為可W通過神經(jīng)行為模型改變。系統(tǒng)制作數(shù)字實體或虛擬對象的動畫，W便允許 實體或?qū)ο蟮恼鎸嵾\(yùn)動或變化。
[0238] 動畫可W合成或復(fù)制行為，通過先進(jìn)的3D計算機(jī)圖形模型呈現(xiàn)此行為。在寬泛的 意義上，模型可W提供可W適應(yīng)外部刺激的行為系統(tǒng)，該里外部刺激指與模型的內(nèi)部刺激 分離的刺激。例如，一個實施例可W與人通過屏幕界面交互，或者可W實現(xiàn)為機(jī)器人。此功 能可w通過神經(jīng)類型的系統(tǒng)或者神經(jīng)類型的系統(tǒng)和神經(jīng)系統(tǒng)的功能替代的混合來實現(xiàn)。所 述系統(tǒng)的一個實施例可W稱作是自動畫的，原因是動畫是根據(jù)外部刺激使用習(xí)得的方法執(zhí) 行的，而不需要干預(yù)動畫。
[0239] 在本發(fā)明的實施例中，模型的圖形/動畫元件與模型的計算元件在所需結(jié)構(gòu)（優(yōu) 選是層級結(jié)構(gòu)）中鏈接。該結(jié)構(gòu)允許代碼的一部分被包含或被分組，意味著該部分可W作 為一組組件被復(fù)制或移動。所述結(jié)構(gòu)可W包括從屬結(jié)構(gòu)，從屬結(jié)構(gòu)包括樹狀元件。在替代 性布置中，層級結(jié)構(gòu)可W另一種形式實現(xiàn)W產(chǎn)生所需結(jié)構(gòu)。在一個實施例中，可W使用多個 層級。所需結(jié)構(gòu)的一個重要特征是它提供模塊之間的進(jìn)一步的鏈接，所述鏈接重點(diǎn)在關(guān)系 或物理或偽物理布置。W此方式，所需結(jié)構(gòu)提供模型中的每個模塊的基礎(chǔ)或關(guān)系結(jié)構(gòu)。在 優(yōu)選的實施例中，所需結(jié)構(gòu)按層級排列，W便容易地顯示和理解結(jié)構(gòu)。由于包含圖形和計算 元件的模塊W清楚和可構(gòu)建的方式被關(guān)聯(lián)，該允許改進(jìn)地描述模型并且允許建模者更高效 地構(gòu)建模型。
[0240] 本發(fā)明的實施例可W包括由層級結(jié)構(gòu)中的一系列模塊定義的模型。該可W類似于 將物理元件分解成其合成或組件部分的方式。每個模塊可W具有零個、一個或多個從屬模 塊。多個模塊可W形成樹狀結(jié)構(gòu)。此結(jié)構(gòu)用于或設(shè)及圖形結(jié)構(gòu)，但還包括計算元件。計算 元件可W單獨(dú)地但類似所需的/層級結(jié)構(gòu)定義。元件可W引用代碼的區(qū)段、子模塊或部分 或與代碼的鏈接，W執(zhí)行功能。有單獨(dú)的代碼元件允許分離每個模塊中的不同功能的控制。 優(yōu)選地，模塊可W包含計算和圖形元件中的兩者或任何一個。在優(yōu)選的實施例中，每個模塊 能夠包含每個元件，只要求該元件被激活。W此方式，在查看層級和模塊之間的關(guān)系時模型 的結(jié)構(gòu)被清楚地觀察，其計算元件和圖形元件是清楚的。因此，模型可W提供創(chuàng)建神經(jīng)行為 或屯、理行為動畫的改進(jìn)方法。在一些實施例中，可W有更多的元件，W提供附加特征或分離 模塊結(jié)構(gòu)。傳感元件可W包括于一個、多個或每個模塊中，W便允許來自內(nèi)部或外部刺激的 輸入。
[0241] 圖形元件通常包括幾何結(jié)構(gòu)、著色器和紋理信息或代碼。圖形元件的該些特征可 W被外部模塊連接或修改。著色器和紋理可W用在通用GPU (GPGPU)意義上W用于計算。圖 形元件的一種典型實現(xiàn)可W用于虛擬臉部。臉部的幾何結(jié)構(gòu)、紋理和著色器可W保存在稱 作"臉"的目錄中。臉目錄還可W包含與臉關(guān)聯(lián)的計算元件。W此方式，圖形元件和計算元 件包括于所需結(jié)構(gòu)的單個模塊中，但也是分開的，W允許管理和更新或鏈接。具體地，不同 的圖形元件和計算元件可W被操作，例如顯示臉部的神經(jīng)網(wǎng)絡(luò)或運(yùn)動的操作。例如，計算元 件可W將來自臉神經(jīng)核模塊的肌肉激活變量饋送到著色器或動畫變形模塊，著色器或動畫 變形模塊可W:
[0242] ?使臉部幾何結(jié)構(gòu)的頂點(diǎn)變形
[0243] ?修改被讀取的紋理數(shù)據(jù)的映射（例如W基于由于血流造成的表情，改變皮膚的 外觀）
[0244] ?基于在著色器外部計算的連接應(yīng)變信息，修改陰影計算。
[0245] 所需結(jié)構(gòu)由多個模塊之間的連接補(bǔ)充。該些連接或鏈接有助于控制計算系統(tǒng)和動 畫需求之間的復(fù)雜的動態(tài)和相互-關(guān)系。連接可W在模型中的任何模塊或元件（包括圖形 和計算模塊）的輸入和輸出（變量）之間鏈接。模型的圖形和計算方面的此通信和靈活性 允許設(shè)計者/程序員或用戶高效地創(chuàng)建非常復(fù)雜的模型。不需要復(fù)制分離的或者弱鏈接的 特征或動作，w及模型的圖形和計算部分。在本發(fā)明的實施例中，輸入和輸出可w優(yōu)選通過 高級模塊連接或路由，使得層級的分支可W變成基本上自包含的。大多數(shù)連接然后可W連 接到高級模塊，W避免進(jìn)入內(nèi)部模塊的復(fù)雜度。連接和其它模型特征提供調(diào)制系統(tǒng)中的信 號的手段。信號的調(diào)制允許行為是可訓(xùn)練的，訓(xùn)練成高效的，原因是訓(xùn)練與模型的細(xì)節(jié)無 關(guān)。例如，神經(jīng)遞質(zhì)可W實現(xiàn)為與多個模型的連接，其值可W改變W適應(yīng)模型或模型行為。
[0246] 連接可W在模塊的圖形和計算元件之間建立，該些連接提供基于復(fù)雜的生物模型 創(chuàng)建復(fù)雜的類似人的仿真手段。連接可W提供第一和第二變量（其中，變量是模塊的輸入 和/或輸出）之間的關(guān)聯(lián)。該改進(jìn)了現(xiàn)有技術(shù)的系統(tǒng)，現(xiàn)有技術(shù)的系統(tǒng)允許創(chuàng)建神經(jīng)模型， 但具有有限的圖形或動畫，限制了該些圖形或動畫之間的界面。通過組合圖形和計算元件， 反饋環(huán)和動畫和底層模型之間的關(guān)系可W被控制和/或描述。該還允許更高效地更新模 型，原因是內(nèi)部關(guān)系在更新或優(yōu)化過程中可W是可見的，包括實時的。
[0247] 在本發(fā)明的實施例中，每個模塊與其它模塊連接，W形成網(wǎng)絡(luò)或所需結(jié)構(gòu)。在此實 施例中，變量（顯示為模塊上的點(diǎn)，在此直線與模塊連接）由連接（可W稱作傳輸線）連接， 該些連接連接變量并可W引入延遲，延遲取決于或代表網(wǎng)絡(luò)中互連模塊之間的距離。在一 些實施例中，連接使用或根據(jù)與連接模塊關(guān)聯(lián)的位置參考數(shù)據(jù)確定延遲。在其它實施例中， 延遲引入模塊中或者在單獨(dú)的延遲模塊中。在一些實施例中，時間提前代替延遲使用，或者 可W不存在延遲。連接可W在模塊之間傳送形式為時間-信號的基于時間的數(shù)據(jù)。模塊對 信號連同其它信號進(jìn)行操作，W產(chǎn)生用來控制化身或數(shù)字實體的響應(yīng)，該響應(yīng)例如在屏幕 或其它數(shù)字呈現(xiàn)裝置上顯示給用戶。所接收的基于時間的信號的相對時間和操作會影響模 塊的輸出。因此，數(shù)字實體、化身或虛擬對象的響應(yīng)和/或響應(yīng)的特征可W被W下的一個或 多個影響；模塊的選擇、模塊功能操作的選擇、模塊在網(wǎng)絡(luò)內(nèi)的布置和/或模塊之間的相對 位置和連接選擇。
[0248] 如本文中使用的詞語"連接器"或"傳輸線"可W是適于連接兩個或多個變量的任 何通信線，可W包括面向?qū)ο蟮慕缑?。時間和/或延遲屬性可W被模塊之間的連接影響。例 如，在每個時間步長變量從發(fā)射變量移動到接收變量的實施例中，發(fā)射和接收變量之間的 干設(shè)模塊的存在會使數(shù)據(jù)的通信延遲。在其它實施例中，連接本身可W具有定時或延遲組 件。優(yōu)選地，使用標(biāo)準(zhǔn)化的網(wǎng)絡(luò)或通信格式，使得所有的模塊可W在變量之間通信。該可能 需要定義模塊內(nèi)部的代碼如何產(chǎn)生標(biāo)準(zhǔn)化的網(wǎng)絡(luò)格式的包裝器或模塊的初始化。在替代性 實施例中，模塊的位置和模塊的視覺距離或其它位置參考數(shù)據(jù)可W影響定時。
[0249] 大腦和臉部特征的一個示例性模型示于圖1中。所述模型可W包括生物、計算和 圖形元件。優(yōu)選地，計算和圖形元件可W寬泛地或基本上基于生物系統(tǒng)。在一個實施例中， 生物建模架構(gòu)允許一系列低級模塊被連接，或被構(gòu)建成組，然后被連接W形成高級組件。該 可W遵循或由進(jìn)化的分層結(jié)構(gòu)或進(jìn)化的神經(jīng)結(jié)構(gòu)衍生出，其中，簡單的基本模型被鏈接，并 被組合W產(chǎn)生復(fù)雜的整體特征?；灸K可W給模塊的核屯、功能提供高級模塊，提供連接 到此更基本系統(tǒng)的附加功能。生物建模架構(gòu)然后用來基于生物學(xué)構(gòu)建動畫系統(tǒng)。系統(tǒng)的一 個優(yōu)點(diǎn)是復(fù)雜的動畫系統(tǒng)可W通過構(gòu)建多個單獨(dú)的、低級模塊來構(gòu)造，他們之間的連接給 模型提供類似于人的或者類似于動物的能力。
[0巧0] 圖la圖解說明模型的總圖，其示出了包括一些周圍特征的大腦的呈現(xiàn)。此模型 可W包括神經(jīng)系統(tǒng)的子模型和神經(jīng)解剖，神經(jīng)解剖包括基于科學(xué)模型的系統(tǒng)和神經(jīng)網(wǎng)絡(luò)系 統(tǒng)。具體地，可w使用已知類型的生物神經(jīng)網(wǎng)絡(luò)。此結(jié)構(gòu)能夠使由產(chǎn)生行為的計算模型產(chǎn) 生的內(nèi)部過程可視化。此結(jié)構(gòu)還提供用戶和系統(tǒng)之間的可描述或可理解形式的交互。模型 或模塊可W由理論模型、數(shù)據(jù)驅(qū)動的經(jīng)驗?zāi)Ｐ?、該些或簡化模型的組合來驅(qū)動。在一些實施 例中，模型的交互特性允許化身或動畫的行為變化，W便構(gòu)造期望的行為或測試行為模式 或生物效應(yīng)。
[0251] 諸如圖la的化身、數(shù)字實體或動畫的創(chuàng)建需要用于神經(jīng)系統(tǒng)的構(gòu)造、可視化和動 畫的建模方法。用于神經(jīng)模型的新模型環(huán)境和方法被公開，并可W稱作大腦語言炬L)。BL 允許用戶從基于生物的神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建動畫和實時可視化，并允許在交互式背景下查看 模型效果。例如，圖1示出了模型的大腦和眼睛21的圖像，部分22和變量、輸入或輸出23、 24、25。該種視覺環(huán)境不僅適于創(chuàng)建模型，對于模型的開發(fā)和模型的可視化也是理想的?？?視化可W使用用戶界面，W允許調(diào)節(jié)網(wǎng)絡(luò)或允許配置輸入W便被用戶接收。模型可W使用 照相機(jī)、麥克風(fēng)或根據(jù)需要其它任何傳感器可視地、可聽地或圖形接收輸入，提供輸出。不 同形式的輸入可能需要具有適當(dāng)?shù)陌b器的不同的輸出模塊，W將數(shù)據(jù)合并到模型中。 悅5引化建模環(huán)境提供用戶和模型之間的雙向通信。在實施例中，模型可W與用戶通過 視覺和/或聽覺通信進(jìn)行交互。該意味著模型可W發(fā)出聲音、改變方向或位置、W同樣方式 對用戶作出反應(yīng)，并且優(yōu)選地該些動作應(yīng)當(dāng)是逼真的W及類似于人的。在一個示例中，如果 用戶沒有注視模型的方向，則模型可能會哭。替代性地，模型可W監(jiān)視并對在其環(huán)境中的聲 音或動作作出反應(yīng)。在進(jìn)一步的實施例中，環(huán)境中的聲音或動作可W影響模型隨時間的操 作。動畫、環(huán)境（通過傳感器）和神經(jīng)模型之間的交互是可能的，原因是建模環(huán)境提供用于 復(fù)雜系統(tǒng)的互連的豐富結(jié)構(gòu)。該提供了測試、改進(jìn)和優(yōu)化模型的手段。
[0253] 圖2圖解說明了動畫輸出，它是幼兒的臉部和上身的3D呈現(xiàn)。輸出呈現(xiàn)可W顯示 模型結(jié)果W及影響模型。例如，系統(tǒng)可W實時地分析視頻和音頻輸入W使用行為模型對護(hù) 理者或同行的行為作出反應(yīng)。類似地，模型可W被動畫正在注視的方向和任何外部聲音或 動作影響。外臉部可W使用生物力學(xué)信息或建模來呈現(xiàn)。在動畫中，該通常是基于肌肉的 形狀。在替代性實施例中，輸出可W是機(jī)器人、卡通人物或其它裝置的一部分。該些可能不 直接與人或類似人的特征類似，但可W共享類似人的動作或響應(yīng)。在基于動物或類似人的 特征的實施例中，模型的生物基礎(chǔ)可W允許或要求產(chǎn)生更逼真模型的逼真建模限制。與動 畫輸出31 -起，還可W顯示許多變量、輸入或輸出32 W提高對模型的理解。
[0巧4] 系統(tǒng)還能夠描述和制作數(shù)字實體的動畫。描述允許數(shù)字實體通過模型部分的結(jié)構(gòu) 和布置被查看。由于設(shè)計和動畫是緊密禪連在一起的，該使得用戶能夠高效地構(gòu)造模型，而 不要求創(chuàng)建單獨(dú)的神經(jīng)模型和動畫模型，然后再在后面禪連。模型的描述可W包括系統(tǒng)是 什么W及系統(tǒng)的各部分如何連接的運(yùn)行數(shù)據(jù)和/或描述。數(shù)字實體的動畫與此描述緊密禪 連，但增加了與系統(tǒng)如何運(yùn)行W及系統(tǒng)的每個部分如何在時間步長中操作的計算和圖形信 息。模型的緊密禪連是由包含及直接鏈接圖形、計算和/或變換元件的模塊產(chǎn)生的特征，使 得每個模塊形成總模型的一個區(qū)斷。該允許組件級的模塊被構(gòu)造成凝聚連貫的整體，或者 組合形成連接模塊的結(jié)構(gòu)。
[0巧5] 在一個實施例中，模塊可W包括用于臉部動畫的肌肉級的組件。該可W由神經(jīng)行 為模型驅(qū)動，可W具有與肌肉有關(guān)的圖形元件和與肌肉的操作有關(guān)的計算元件。肌肉組件 可W從模型接收建議采用的優(yōu)選位置或動作的輸入。神經(jīng)網(wǎng)絡(luò)模式發(fā)生器可W從類似的肌 肉組件的集合接收輸入或預(yù)期輸出，并將他們組合，形成用于較大肌肉或肌肉區(qū)的連貫的 輸出效果。因為圖形輸出的低級控制，可W形成非常復(fù)雜的臉部表情。該是因為模型不僅 嘗試組合一系列可能的表情，或者將臉部的數(shù)據(jù)點(diǎn)的網(wǎng)格匹配，而是基于動物或人類的解 剖或生物系統(tǒng)構(gòu)造臉部表情。稍后描述的其它實施例可W通過輸出或表情和有限元彈性的 組合提供連貫的臉部表情。
[0256] 對模型的圖形和計算元件的低級控制還提供在細(xì)節(jié)級的范圍內(nèi)學(xué)習(xí)模型的各個 方面的能力。例如，如果特定肌肉的動作是重要的，則模型可W局限到顯示該個動作，同時 維持模型的剩余部分的計算或操作。類似地，模型可W顯示輸出的圖形動畫和關(guān)于模型的 計算的輸出，包括此計算的圖形輸出。例如，小孩的模型可W用來探究多己胺對巧眼率的效 果。主要的圖形輸出可W是小孩的臉部或頭部W及其臉部運(yùn)動。然而，小孩體內(nèi)的多己胺 水平的曲線也可W可視化，W便類似于圖2中所示的進(jìn)行比較。在第二示例中，小孩的模型 可W用來與用戶交互，W對多己胺對特定行為的獎勵學(xué)習(xí)的效果建模-例如，當(dāng)小孩作出 某個表情時，用戶積極地應(yīng)答，然后多己胺調(diào)制可塑性的學(xué)習(xí)效果意味著此表情極有可能 被重復(fù)。用戶可W看到小孩臉部行為的變化，還看得見紋狀體（striatal)神經(jīng)網(wǎng)絡(luò)的突觸 權(quán)重的變化。
[0257] 在一個實施例中，仿真神經(jīng)回路的可視化可W允許用戶在任何給定時間或者在更 示意性的顯示器上看到產(chǎn)生行為的在神經(jīng)解剖背景下正在起作用的神經(jīng)回路。此模型的特 征是用圖形觀看皮膚下面，看到對激活臉部肌肉有貢獻(xiàn)的神經(jīng)回路模型的活動?；锌捎?的查看形式的范圍允許用戶在神經(jīng)解剖背景下隨屯、查看模型的各個部分W及提供更加傳 統(tǒng)的"數(shù)字集中的"顯示器，該可能更適于更加抽象的模型W及實時模型參數(shù)修改。
[0巧引可視化可W通過向來自模型中適當(dāng)模塊的多己胺變量的多己胺變量或連接增加 圖形元件或可視化元件來實現(xiàn)。用戶然后可能想檢查藥物對多己胺/獎勵系統(tǒng)的效果。該 可能設(shè)及將來自藥物的連接器增加到神經(jīng)行為模型的模塊。用戶可能想要看到該是如何影 響神經(jīng)系統(tǒng)的一些部分的操作的。該還是可W通過創(chuàng)建或激活與系統(tǒng)的該部分關(guān)聯(lián)的圖形 或可視化元件來實現(xiàn)，該可W在多個等級上從臉部組件到個別的神經(jīng)元模塊被激活。該是 可能的原因是仿真是由具有所需結(jié)構(gòu)的模塊的組合構(gòu)建的，模塊具有計算和圖形元件，使 得基于計算或數(shù)據(jù)的處理和圖形處理可W被個別地或單獨(dú)地研究、描述和修改?；谀K 的方法還允許通過在所需結(jié)構(gòu)中引入另外的模塊來增加計算或顯示元件的進(jìn)一步的細(xì)節(jié)。 W此方式，產(chǎn)生例如臉部行為的模型的狀態(tài)可W通過圖形和示意圖或者通過探究映射到底 層神經(jīng)解剖的活動而被可視化。
[0巧9] 動畫/圖形
[0%0] 圖2示出了具有類似人的臉部的動畫。逼真的臉部和臉部表情的產(chǎn)生和動畫制作 可W通過使用模型來實現(xiàn)。神經(jīng)控制系統(tǒng)作為用于臉部動畫的產(chǎn)生模型是優(yōu)選的，原因是 它通過構(gòu)造表情的塊來構(gòu)造臉部運(yùn)動。該可W有助于創(chuàng)建數(shù)字實體或虛擬對象中的更加一 致的總體表情。臉部運(yùn)動的神經(jīng)控制需要使用多個并行系統(tǒng)，包括自發(fā)感情系統(tǒng)，他們在解 剖學(xué)和功能上與臉神經(jīng)核不同?；谂c神經(jīng)系統(tǒng)的連接控制臉部動畫或表情的能力提供了 產(chǎn)生逼真的動畫并配置和優(yōu)化動畫W便使其更加類似人的手段。模型的臉部動畫可W基于 臉部運(yùn)動系統(tǒng)的架構(gòu)使用神經(jīng)解剖模型。該可W從與模型關(guān)聯(lián)的其它模塊獲取輸入，不過 優(yōu)選是基于已知的科學(xué)模型。在系統(tǒng)的實施例中，臉部或其它圖形特征可W形成結(jié)構(gòu)的單 獨(dú)部分或者單獨(dú)的結(jié)構(gòu)，w便集中在真實臉部的圖形需要。此臉部結(jié)構(gòu)然后連接或鏈接到 神經(jīng)行為模型，W便被控制。
[0261] 在本發(fā)明的實施例中，復(fù)雜的圖形輸出（諸如臉部）可W由只包含或者大的圖形 數(shù)據(jù)的一系列模塊形成。W此方式，臉部可W與計算方面更無關(guān)，W允許改變臉部（或者其 它圖形圖像）的細(xì)節(jié)。臉部可W被設(shè)置為一組模塊，第一模塊代表臉部，所需結(jié)構(gòu)中的多個 模塊則代表子特征。在第一示例中，模塊可W只代表臉部的表面，或者在第二示例中，模塊 可W代表臉部和臉部后面的肌肉或者組織元件。臉部的特征可W根據(jù)上文討論的獲得，其 中，一系列的臉部表情被計算、記錄和描述。在一個實施例中，臉部表情可W在模型中混合， W產(chǎn)生復(fù)合表情。使用混合臉部表情的優(yōu)點(diǎn)是該確保表情是完整的，使用所需肌肉的全部。 例如，一個人強(qiáng)顏歡笑可W通過笑容的非對稱特性與發(fā)自內(nèi)屯、的笑相區(qū)別，該是因為個別 肌肉被命令，代替一起操作的肌肉的刻意的微笑模式