(資料圖片僅供參考)

7月30日，昆侖萬維（300418）正式推出并開源采用自回歸路線的“多模態(tài)統(tǒng)一預(yù)訓(xùn)練模型Skywork UniPic”，在單一模型中深度融合圖像理解、文本到圖像生成、圖像編輯三大核心能力。該模型基于大規(guī)模高質(zhì)量數(shù)據(jù)進(jìn)行端到端預(yù)訓(xùn)練，具備良好的通用性與可遷移性。

GPT-4o的迅速走紅，標(biāo)注著人工智能領(lǐng)域多模態(tài)統(tǒng)一預(yù)訓(xùn)練模型的成熟。據(jù)了解，Skywork UniPic 延續(xù)了GPT-4o的自回歸范式，在單一模型中深度融合圖像理解、文本生成圖像（T2I）與圖像編輯三大核心任務(wù)，構(gòu)建了真正統(tǒng)一的多模態(tài)模型架構(gòu)。

傳統(tǒng)多模態(tài)統(tǒng)一模型多依賴VQ或VAE編碼器來壓縮視覺內(nèi)容，雖然具備一定效果，但也存在局限性，它們更側(cè)重保留圖像的視覺細(xì)節(jié)而非語義信息，這會(huì)在一定程度上削弱模型的圖像理解能力。為此，Skywork UniPic團(tuán)隊(duì)借鑒Harmon架構(gòu)設(shè)計(jì)，并在表征方式上做出關(guān)鍵調(diào)整，采用MAR編碼器作為圖像生成路徑的視覺表征基礎(chǔ)，同時(shí)引入SigLIP2作為圖像理解路徑的主干。

此外，Skywork-UniPic完成端到端優(yōu)化流程，能夠?qū)崿F(xiàn)生成、理解、編輯三大能力的協(xié)同訓(xùn)練和相互促進(jìn)，突破傳統(tǒng)方法中能力權(quán)衡的技術(shù)瓶頸。

這一架構(gòu)設(shè)計(jì)不僅保持了自回歸模型的簡潔高效，更通過共享編碼器實(shí)現(xiàn)了跨任務(wù)的深度協(xié)同，為多模態(tài)統(tǒng)一模型的實(shí)用化部署奠定了堅(jiān)實(shí)基礎(chǔ)。用戶只需要輸入提示詞，Skywork-UniPic既可以像VLM一樣理解圖像、像T2I模型一樣生成圖片，還可以像美圖工具一樣，一鍵實(shí)現(xiàn)風(fēng)格轉(zhuǎn)繪/吉卜力化的編輯功能。

公司在追求模型能力極限的同時(shí)，也堅(jiān)持效率重要性的設(shè)計(jì)理念。Skywork UniPic以1.5B的緊湊參數(shù)規(guī)模，真正詮釋了“小而美”的技術(shù)美學(xué)。

昆侖萬維表示，過去半年公司先后開源了多個(gè)SOTA大模型，涵蓋獎(jiǎng)勵(lì)模型、推理、軟件工程、多模態(tài)、空間智能等領(lǐng)域。今天，Skywork-UniPic正式加入“Skywork”開源大家庭，讓AI真正成為每個(gè)人觸手可及的創(chuàng)意伙伴。（燕云）

關(guān)鍵詞： 財(cái)經(jīng)頻道 財(cái)經(jīng)資訊