獨(dú)有情感引擎蔚來(lái)車載NOMI將煥新升級(jí)

周易

2024年04月12日 11:39 原創(chuàng) 來(lái)源：汽車之家發(fā)布于:北京

　　[汽車之家資訊] 4月12日，蔚來(lái)NOMI GPT大模型正式上線，同步推送給搭載Banyan·榕蔚來(lái)智能系統(tǒng)的車型。據(jù)了解，此次NOMI升級(jí)了基于全新技術(shù)架構(gòu)，為NOMI量身打造NOMI GPT端云多模態(tài)大模型，包含自研多模態(tài)感知、自研認(rèn)知中樞、情感引擎、多專家Agent，能夠打通蔚來(lái)產(chǎn)品、服務(wù)、社區(qū)，提供更高效、愉悅的AI服務(wù)。

　　據(jù)官方介紹，本次升級(jí)帶來(lái)了眾多基于大模型能力的新功能，NOMI現(xiàn)在可以回答關(guān)于科學(xué)、歷史、影視等不限領(lǐng)域的百科知識(shí)，提供富有情感的連續(xù)對(duì)話，還能根據(jù)用戶的簡(jiǎn)單指令，智能生AI用車場(chǎng)景、氛圍燈組合以及呈現(xiàn)獨(dú)有的NOMI表情等。

『新一代車載人工智能NOMI技術(shù)框架』

　　NOMI GPT端云多模態(tài)大模型，包括自研的端云融合架構(gòu)、多模態(tài)感知、認(rèn)知中樞、情感引擎、記憶能力、NOMI GPT Agents(NIO Agents，User Agents，三方Agents)等，能夠靈活調(diào)用第三方 API，搭建AI Agent，打通蔚來(lái)產(chǎn)品、服務(wù)、社區(qū)，提供更高效、愉悅的AI用車體驗(yàn)。

　　同時(shí)，讓NOMI具備“看得見(jiàn)，認(rèn)得出”“聽得到，聽得懂”“知冷熱，有觸感”等能力，同時(shí)做到賬號(hào)隔離，敏感信息不出車，車載通信端到端加密，保障用戶隱私安全。據(jù)官方介紹，蔚來(lái)自研的端側(cè)多模態(tài)感知，擁有數(shù)十億參數(shù)，融合了圖像（視覺(jué)）、音頻（聽覺(jué)）、車身傳感器（觸覺(jué)）等多模感知，并像人類一樣，能將多維度感知用自然語(yǔ)言描述，從而更全面的感知艙內(nèi)外的人和世界，提供更懂你、更高效、更保護(hù)隱私的智能體驗(yàn)。基于端側(cè)多模感知，NOMI可以像朋友一樣，看見(jiàn)你的物品、著裝、狀態(tài)，甚至艙外的車輛、樓宇、動(dòng)物植物，進(jìn)而提供更懂你的服務(wù)、更有趣的溝通。值得一提的是，端側(cè)多模態(tài)感知內(nèi)部測(cè)試中，預(yù)計(jì)今年內(nèi)上車。

　　此外，NOMI將擁有更高效的信息認(rèn)知能力，能在海量信息源中精準(zhǔn)判斷用戶意圖與需求，無(wú)縫調(diào)度大模型架構(gòu)內(nèi)組件，實(shí)現(xiàn)“領(lǐng)會(huì)用戶意圖有默契，執(zhí)行夠聰明，靈活不打擾”的優(yōu)質(zhì)用車體驗(yàn)。蔚來(lái)自研的端云一體的認(rèn)知中樞，能夠根據(jù)多維感知信息，通過(guò)推理分析形成復(fù)雜任務(wù)的處理能力，讓 NOMI真正成為貼心可靠的助手。認(rèn)知中樞集成了行業(yè)最全知識(shí)庫(kù)，能夠從容調(diào)度執(zhí)行各種任務(wù)，回答各種問(wèn)題。

　　中樞包括中控分發(fā)，多模拒識(shí)，跨域繼承&跳轉(zhuǎn)，多Agent決策幾個(gè)部分；其中包含中控分發(fā)：NOMI會(huì)根據(jù)用戶所說(shuō)的內(nèi)容，結(jié)合對(duì)話上下文、感知以及狀態(tài)信息，智能地判斷調(diào)用任務(wù)型交互、問(wèn)答閑聊、用車助手等，同時(shí)也能支持語(yǔ)義創(chuàng)建完整的快捷場(chǎng)景；多模拒識(shí)：依據(jù)文本，音頻以及圖像信息綜合決策是否是在和NOMI交互，目標(biāo)是實(shí)現(xiàn)用戶在和NOMI交互時(shí)要有回復(fù)，用戶在和車?yán)锲渌肆奶鞎r(shí)NOMI不插嘴；跨域繼承&跳轉(zhuǎn)：結(jié)合用戶長(zhǎng)上下文信息，幫助NOMI GPT靈活地在百科聊天以及任務(wù)中去做上下文理解及指代消解；多Agent決策：在前置分發(fā)信息不足無(wú)法明確時(shí)，調(diào)用多個(gè)Agent，根據(jù)前置信息以及Agent輸出信息最終決策給用戶的返回內(nèi)容。蔚來(lái)首創(chuàng)了模態(tài)內(nèi)外多維度對(duì)比學(xué)習(xí)技術(shù)（Interspeech 2023），并且首次將其工程化運(yùn)用于NOMI對(duì)話系統(tǒng)中，包括多模拒識(shí)和調(diào)度分發(fā)，最終使得拒識(shí)得誤識(shí)別率和誤拒識(shí)率均控制在2%以內(nèi)，調(diào)度分發(fā)單輪準(zhǔn)確率達(dá)到98%+，長(zhǎng)距離多輪分發(fā)準(zhǔn)確率達(dá)到95%+。

　　此外，NOMI將擁有獨(dú)有情感引擎，其是NOMI實(shí)現(xiàn)擬人交互的關(guān)鍵，通過(guò)與用戶長(zhǎng)期溝通與陪伴、記憶、學(xué)習(xí)，實(shí)現(xiàn)有個(gè)性的成長(zhǎng)，讓NOMI不只是一個(gè)冰冷的“助手”，更是懂你的情感伙伴。同時(shí)，關(guān)于記憶方面，NOMI的記憶能力包括短期記憶和長(zhǎng)期記憶，短期記憶可以讓NOMI記住用戶最近在聊的話題、用戶之前提到人和物，長(zhǎng)期記憶讓NOMI能夠記住用戶和家人朋友，記住用戶的喜好，記住和用戶在一起點(diǎn)點(diǎn)滴滴。值得一提的是，情感引擎能夠幫助NOMI更快的學(xué)習(xí)成長(zhǎng)，通過(guò)實(shí)時(shí)反饋、事后反思、人為訓(xùn)練等方式，不斷變得更加聰明，不斷掌握新技能和新知識(shí)。情感引擎也在讓NOMI有更獨(dú)特的人設(shè)，包括性格、三觀、夢(mèng)想等，讓NOMI的每一句對(duì)話、每一個(gè)表情，都符合NOMI的基本人設(shè)，但也會(huì)隨著陪伴時(shí)間的增長(zhǎng)，而潛移默化地和用戶更加契合。

　　在感知、認(rèn)知、決策等方面，官方將采用十億級(jí)參數(shù)模型，以毫秒級(jí)的速度響應(yīng)用戶的訴求。同時(shí)也有百億千億級(jí)參數(shù)的通用生成模型，以秒級(jí)響應(yīng)速度，作為NOMI開放域知識(shí)問(wèn)答、復(fù)雜邏輯推理能力的支撐。

　　此外，NOMI GPT將擁有交互視窗，官方為NOMI GPT打造全新交互界面，可更加靈動(dòng)的展示多種類型的生成內(nèi)容。具體為思考狀態(tài)：新增‘思考中’、‘生成中’兩種狀態(tài)，NOMI思考狀態(tài)一目了然；標(biāo)題展示：支持標(biāo)題序號(hào)和加粗樣式。試試說(shuō)「推薦5個(gè)北京適合遛娃的地方」；表格展示：支持表格展示樣式，試試說(shuō)「把周杰倫每張專輯的發(fā)布時(shí)間列個(gè)表格給我」；關(guān)聯(lián)推薦：在生成結(jié)果下方，會(huì)展現(xiàn)更多關(guān)聯(lián)推薦的問(wèn)法；停止生成：可隨時(shí)說(shuō)「停止生成」或「別說(shuō)了」等，來(lái)終止NOMI GPT生成。

　　NOMI知識(shí)豐富度與推理能力升級(jí)，為用戶解答疑惑、拓寬視野。其中，NOMI支持包括科學(xué)、歷史、文學(xué)、藝術(shù)、影視等不限領(lǐng)域的百科知識(shí)問(wèn)答；支持景點(diǎn)推介、游玩攻略、行程建議等出行場(chǎng)景問(wèn)答；提升理解、推理與創(chuàng)作能力，能夠進(jìn)行學(xué)習(xí)、創(chuàng)作、咨詢等個(gè)人問(wèn)答等。

　　值得一提的是，此次官方針對(duì)NOMI表情互動(dòng)體驗(yàn)也進(jìn)行升級(jí)，包含精準(zhǔn)表情：增加更多趣玩表情互動(dòng)指令。比如「做個(gè)鬼臉」、「看蝴蝶」、「吹蒲公英」、「吹彩色紙屑」、「摸小狗」、「看流星」、「數(shù)星星」等，可精準(zhǔn)觸發(fā)對(duì)應(yīng)的表情；支持任意描述的表情指令「做一個(gè)xx的表情」，或者「表演一個(gè)xx的樣子」，提供趣味回復(fù)和靈活匹配的表情。比如「做一個(gè)中了大獎(jiǎng)的表情」、「做一個(gè)給老婆表白的表情」、「表演一個(gè)蝙蝠俠的樣子」；支持表情九連拍，可以通過(guò)「你有哪些表情」觸發(fā)一連串的表情表演。

　　當(dāng)然，在氛圍營(yíng)造方面，NOMI支持營(yíng)造任意的氛圍。只需要說(shuō)「來(lái)個(gè)XX的氛圍」，NOMI會(huì)基于大模型強(qiáng)大的推理能力，在16,777,216種氛圍燈搭配中，找到最適合用戶表達(dá)的氛圍搭配。比如：場(chǎng)景氛圍：「來(lái)個(gè)二人世界的氛圍」「調(diào)成哄娃睡覺(jué)的氛圍」「來(lái)個(gè)全家去春游的氛圍」；心情氛圍：「來(lái)個(gè)元?dú)鉂M滿去上班的氛圍」「來(lái)個(gè)加班很晚很疲憊的氛圍」；世界氛圍：「營(yíng)造一個(gè)北極光的氛圍」「來(lái)個(gè)法蘭西的氛圍」「來(lái)個(gè)上海的氛圍」。

　　在其它方面，NOMI支持查詢車輛信息、用車知識(shí)、指示燈等，幫助新老用戶更深入的了解和使用車輛。車輛信息查詢：「我這輛車有多長(zhǎng)」「ET7和ET5誰(shuí)更寬」「這輛車涉水深度是多少」；用車知識(shí)查詢：「兒童座椅怎么裝」「怎么重啟車機(jī)」「發(fā)生了剮蹭怎么辦」；指示燈查詢：「儀表上有個(gè)紅圈里面有個(gè)P是啥」「儀表有個(gè)小旗子邊上有個(gè)加號(hào)是啥」「儀表有個(gè)綠色小蝴蝶是什么意思」。

　　跟隨245 NOMI應(yīng)用更新上線全新AI場(chǎng)景生成，包含NOMI支持通過(guò)自然語(yǔ)言，一句話實(shí)現(xiàn)場(chǎng)景任務(wù)創(chuàng)建，在千量級(jí)車輛原子能力中，組合出使用情境，貼合用戶駕乘習(xí)慣的方方面面。例如：行車顧問(wèn)：支持日常通勤、行車準(zhǔn)備、離車設(shè)定等情境下的用車習(xí)慣設(shè)定，如：「工作日早上我上車就自動(dòng)導(dǎo)航去公司，把熱點(diǎn)打開，空調(diào)調(diào)到23度，然后播放NIORadio資訊充電站」等。關(guān)于該品牌更多信息，我們也將持續(xù)關(guān)注。（編譯/汽車之家周易）