1月22日,豆包大模型1.5Pro版本正式面世。


根據(jù)官方介紹,豆包大模型1.5Pro版本擁有低訓練、推理成本和高效的模型結構,在多項公開評測基準上全球領先。此外,該模型在訓練過程中,未使用任何其他模型生成的數(shù)據(jù),堅實扎實不走“捷徑”。


目前,Doubao-1.5-pro(豆包大模型1.5Pro)已在豆包應用程序灰度上線,開發(fā)者也可在火山引擎直接調用API(應用程序接口)。


綜合能力領先,多模態(tài)能力全面提升


豆包大模型1.5Pro在知識(MMLU_PRO、GPQA)、代碼(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多項公開測評基準上成績全球領先。此外,新版豆包視覺理解模型Doubao-1.5-vision-pro,視覺理解能力全球領先。

圖|受訪者供圖


全新的豆包實時語音模型Doubao-1.5-realtime-voice-pro,采用Speech2Speech(指將語音信號直接轉換為另一種語音信號的技術)端到端框架,真正做到會哭會笑、能說方言會唱歌。目前,該模型已在豆包應用程序全量上線。


基于豆包1.5基座模型,通過RL(強化學習)算法的突破和工程優(yōu)化,在未使用其他模型數(shù)據(jù)的情況下,研發(fā)豆包深度思考模型。目前,豆包深度思考模型Doubao-1.5-Pro-AS1-Preview在AIME上已取得了業(yè)內領先的成績。


圖|受訪者供圖


訓練、推理成本低,高效模型結構


豆包大模型1.5Pro使用較小的激活參數(shù)進行預訓練,訓練成本低,但性能不打折。豆包大模型1.5Pro采用大規(guī)模稀疏MoE(混合專家模型)架構,等效7倍激活參數(shù)的Dense(稠密)模型性能,遠超業(yè)內MoE架構約3倍杠桿的常規(guī)效率。


字節(jié)跳動還憑借自研服務器集群方案,靈活支持低成本芯片,硬件成本比行業(yè)方案大幅度降低。此外,自研網(wǎng)卡和網(wǎng)絡協(xié)議,顯著優(yōu)化小包通訊效率,算子層計算與通信的高效交疊,保證了多機分布式推理的穩(wěn)定和高效。


編輯 白昊天 校對 柳寶慶