他提到，AGI 對(duì)標(biāo)的是人類智能：人類的智能本身是多元化的，除了語(yǔ)言的符號(hào)智能，還包括視覺(jué)智能、空間智能和運(yùn)動(dòng)智能等等。這些智能的習(xí)得需要通過(guò)視覺(jué)和其他模態(tài)來(lái)進(jìn)行學(xué)習(xí)。因此，要實(shí)現(xiàn)對(duì)標(biāo)人類的 AGI，模型也必須具備處理多種模態(tài)信息的能力。

此外，在應(yīng)用層面來(lái)看，無(wú)論是垂直領(lǐng)域的應(yīng)用還是 C 端應(yīng)用，多模態(tài)都是必不可少。因?yàn)橄胱?AI 更好地理解用戶所處的環(huán)境并進(jìn)行更自然的交流，它需要具備“能聽(tīng)、能看、能說(shuō)”的能力。“多模態(tài)可以讓智能體充分地理解和感知這個(gè)世界。”姜大昕說(shuō)。

在創(chuàng)立之初，階躍星辰就規(guī)劃了通往 AGI 的路線圖，包括三個(gè)階段：模擬世界—探索世界—?dú)w納世界。在姜大昕看來(lái)，當(dāng)下，整個(gè)行業(yè)的技術(shù)發(fā)展仍然處于非常陡峭的區(qū)間。

所以，當(dāng)下，公司依舊會(huì)堅(jiān)持基礎(chǔ)大模型的研發(fā)，追求智能的上限：“行業(yè)變化太快，前兩年很厲害的 GPT-4都快下架了，階躍不想在這個(gè)過(guò)程中放棄主流增長(zhǎng)或前進(jìn)的趨勢(shì)，因此會(huì)堅(jiān)持做基礎(chǔ)模型的研發(fā)。追求 AGI是我們的初心。”

視覺(jué)理解生成一體化是關(guān)鍵問(wèn)題

實(shí)現(xiàn)AGI，下一步大模型的主要發(fā)展趨勢(shì)是什么？

姜大昕認(rèn)為，未來(lái)的模型發(fā)展將沿著增強(qiáng)推理能力和實(shí)現(xiàn)多模理解生成一體化這兩個(gè)主要方向前進(jìn)。

首先，是在預(yù)訓(xùn)練的基礎(chǔ)模型上加入強(qiáng)化學(xué)習(xí)，激發(fā)推理的長(zhǎng)思維鏈能力。這種強(qiáng)大的推理能力與多模態(tài)能力的結(jié)合，被認(rèn)為是 Agent 爆發(fā)的兩個(gè)必要條件之一。

此外，除了語(yǔ)言模型推理之外，另一個(gè)能力是如何把推理引入到多模態(tài)領(lǐng)域。因?yàn)?單純的視覺(jué)理解是有限的，引入推理后，模型能夠結(jié)合其感知能力和內(nèi)部知識(shí)，更深入地理解復(fù)雜的場(chǎng)景和情況。

第二個(gè)核心趨勢(shì)就是，視覺(jué)領(lǐng)域的理解生成一體化。這也是當(dāng)下多模態(tài)領(lǐng)域的核心問(wèn)題?！袄斫馍梢惑w化是計(jì)算機(jī)視覺(jué)需要突破的一個(gè)堡壘，這對(duì)于預(yù)測(cè)下一幀、利用海量視頻進(jìn)行預(yù)訓(xùn)練、構(gòu)建世界模型、實(shí)現(xiàn)具身智能和機(jī)器人泛化至關(guān)重要。”

姜大昕進(jìn)一步解釋：“理解生成一體化的核心定義是理解和生成由同一個(gè)模型來(lái)完成，這在文本領(lǐng)域（如 ChatGPT）已經(jīng)實(shí)現(xiàn)，但在視覺(jué)領(lǐng)域，目前的模型在多模態(tài)領(lǐng)域理解和生成往往由不同的模型完成，理解生成一體化是核心問(wèn)題。”

“生成需要理解來(lái)控制。理解需要生成來(lái)監(jiān)督”，姜大昕強(qiáng)調(diào)，生成的內(nèi)容需要理解來(lái)控制，以確保生成內(nèi)容有意義和有價(jià)值，理解需要生成來(lái)監(jiān)督，只有能夠生成，才能知道是否真正理解。如果能夠攻克這一難題，便能利用海量的視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并有望將計(jì)算機(jī)視覺(jué)的各項(xiàng)任務(wù)統(tǒng)一到一個(gè)模型之中。

盡管意義重大，視覺(jué)領(lǐng)域的理解生成一體化依然面臨著模態(tài)復(fù)雜度高的嚴(yán)峻挑戰(zhàn)，由于高維連續(xù)空間難以高效表達(dá)，目前尚未找到類似 Transformer 在文本領(lǐng)域那樣具有突破性的、可擴(kuò)展的架構(gòu)。近期出現(xiàn)的模型，例如 GPT-4o 的圖像編輯能力以及階躍星辰的 Step 1X-Edit，被認(rèn)為是理解生成一體化的初步嘗試，它們需要在理解圖像和指令的基礎(chǔ)上進(jìn)行內(nèi)容生成，并保持對(duì)原始圖像的忠實(shí)度。

據(jù)姜大昕透露，階躍星辰正在內(nèi)部探索多條技術(shù)路線，以期找到可擴(kuò)展的理解生成一體化架構(gòu)，實(shí)現(xiàn)視覺(jué)模態(tài)的“Transformer 時(shí)刻”。“ 在技術(shù)路線未收斂之前，并行探索多種可能的解決方案是必要的?！?/p>

“突破可能在瞬間發(fā)生，但難以預(yù)測(cè)何時(shí)到來(lái)。”姜大昕說(shuō)。

雙輪驅(qū)動(dòng)：超級(jí)模型+超級(jí)應(yīng)用

除了技術(shù)和方向，落地與應(yīng)用是另一關(guān)鍵議題。

階躍星辰早在今年2月的首屆生態(tài)開(kāi)放日上便明確，下一步將戰(zhàn)略聚焦智能終端 Agent 方向，并重點(diǎn)布局汽車、手機(jī)、具身智能、IoT 等核心應(yīng)用場(chǎng)景。

姜大昕提到，Agent 爆發(fā)需要兩個(gè)必要的條件，一個(gè)是多模態(tài)的能力，另外一個(gè)是慢思考的能力，這兩個(gè)能力恰好在 2024 年的時(shí)候取得了突破性的進(jìn)展。

選擇智能終端方向，是因其作為用戶感知與體驗(yàn)的延伸，能夠采集環(huán)境信息，助力 Agent 理解用戶所處環(huán)境及任務(wù)上下文。此外，終端亦能執(zhí)行任務(wù)，未來(lái)的 Agent 有望通過(guò)自然對(duì)話簡(jiǎn)化復(fù)雜設(shè)備操作。目前，階躍星辰正積極與手機(jī)、汽車、機(jī)器人等終端領(lǐng)域的頭部企業(yè)合作，探索 Agent 的實(shí)際落地。

對(duì)于 AI 應(yīng)用的未來(lái)走向，姜大昕向藍(lán)鯨新聞指出，僅做應(yīng)用的公司可能面臨通用模型能力提升后被降維打擊的風(fēng)險(xiǎn)。在關(guān)鍵的商業(yè)化方向上， 階躍星辰采取的是“超級(jí)模型加上超級(jí)應(yīng)用”的雙輪驅(qū)動(dòng)策略。

姜大昕認(rèn)為，模型突破先于商業(yè)化，“通常是模型能力的突破先發(fā)生，然后才帶來(lái)商業(yè)化的成熟應(yīng)用。例如，GPT-3.5 的出現(xiàn)催生了 ChatGPT，多模融合和推理模型的進(jìn)步帶來(lái)了 Agent，而多模理解生成一體化（尤其是可擴(kuò)展的一體化）的實(shí)現(xiàn)，可能會(huì)進(jìn)一步解鎖人形機(jī)器人泛化和構(gòu)建世界模型等更大的應(yīng)用和價(jià)值?！?/p>

階躍專注于基礎(chǔ)模型能力，但也重視應(yīng)用，因?yàn)橥ㄓ媚Ｐ偷哪芰π枰ㄟ^(guò)應(yīng)用來(lái)牽引。例如，玩具場(chǎng)景中孩子說(shuō)話停頓的問(wèn)題在通用模型中不會(huì)出現(xiàn)，但解決這種問(wèn)題可以促進(jìn)模型能力的提升。

“雙輪驅(qū)動(dòng)策略使得階躍星辰能夠在堅(jiān)持基礎(chǔ)模型研發(fā)，追求AGI的同時(shí)，通過(guò)與行業(yè)伙伴合作，在實(shí)際應(yīng)用場(chǎng)景中探索和落地Agent能力，形成從模型到Agent，從云側(cè)到端側(cè)的生態(tài)體系，實(shí)現(xiàn)軟硬件結(jié)合以更好地理解用戶需求和完成任務(wù)。”

姜大昕展望未來(lái)：“所有終端都可能 Agent 化，將原本冰冷的設(shè)備轉(zhuǎn)變?yōu)橛脩舻闹悄芑锇椤！?/p>