3月28日,云天勵(lì)飛-U(688343)舉辦AI大模型產(chǎn)品發(fā)布會(huì),正式發(fā)布“深目”AI模盒。據(jù)介紹,該產(chǎn)品能夠覆蓋30%的場(chǎng)景,同時(shí)算法精度超過(guò)90%,使用成本降低90%,幫助大模型在場(chǎng)景應(yīng)用落地。

同時(shí),云天勵(lì)飛與鵬城實(shí)驗(yàn)室、之江實(shí)驗(yàn)室、中國(guó)電子、華為、華潤(rùn)數(shù)科等單位成立“深目2.0”生態(tài)聯(lián)盟,共同探索更多大模型落地應(yīng)用路徑。此外,云天勵(lì)飛宣布“云天天書-2.0-68B”版本免費(fèi)向合作伙伴開(kāi)放;即日起預(yù)訂“深目”AI模盒,即有機(jī)會(huì)獲得邀約測(cè)試的機(jī)會(huì)。

算法芯片化助力成本降低

云天勵(lì)飛董事長(zhǎng)兼CEO陳寧博士在發(fā)布會(huì)上表示,未來(lái)3年全球80%的企業(yè)都將使用大模型。但是訓(xùn)練專屬大模型需要耗費(fèi)大算力、大數(shù)據(jù)以及頂尖人才,單次訓(xùn)練成本高達(dá)千萬(wàn)級(jí),主流訓(xùn)推一體機(jī)價(jià)格普遍在百萬(wàn)元,絕大多數(shù)企業(yè)都無(wú)法承擔(dān)這樣高昂的成本。

為了能夠讓大模型“平民化”,降低成本,本次云天勵(lì)飛推出的“深目”AI模盒產(chǎn)品售價(jià)在千元級(jí),搭載了云天勵(lì)飛的自研大模型邊緣訓(xùn)推芯片DeepEdge10 Max以及自研多模態(tài)大模型“云天天書”,具備算法邊緣側(cè)在線學(xué)習(xí)能力,可實(shí)現(xiàn)算法場(chǎng)景覆蓋超過(guò)90%、算法精度超過(guò)90%,使用成本降低90%,降低大模型的訓(xùn)練使用門檻。

而降本的關(guān)鍵在云天勵(lì)飛算法芯片化的核心能力。

陳寧博士指出,“深目”AI模盒的算力基礎(chǔ),來(lái)源于去年云天勵(lì)飛推出的14nm Chiplet大模型訓(xùn)推芯片DeepEdge10 Max。該芯片采用自主可控的國(guó)產(chǎn)工藝,內(nèi)含國(guó)產(chǎn)RISC-V核,支持大模型訓(xùn)練推理部署。依托自研芯片DeepEdge10 Max創(chuàng)新的D2D chiplet架構(gòu)打造的X5000推理卡,已適配并可承載10億級(jí)SAM、百億級(jí)Llama2等大模型運(yùn)算,可廣泛應(yīng)用于AIoT邊緣視頻、移動(dòng)機(jī)器人等場(chǎng)景。

另外,“深目”AI模盒的大模型能力,來(lái)源于云天勵(lì)飛自主研發(fā)的多模態(tài)大模型“云天天書”。云天天書大模型包含語(yǔ)言大模型、多模態(tài)大模型等不同系列,在C-Eval、CMMLU等權(quán)威測(cè)試中多次獲得第一,并于去年正式通過(guò)中央網(wǎng)信辦備案。云天天書1.0版本于2023年初正式推出,至今已完成3個(gè)版本的迭代,預(yù)計(jì)今年6月將迭代4.0 V版本。

快速訓(xùn)練高精度算法

由于大模型具備泛化和學(xué)習(xí)的能力,客戶部署算法后,大模型還能夠不斷根據(jù)現(xiàn)實(shí)應(yīng)用場(chǎng)景情況,在線學(xué)習(xí)、優(yōu)化算法,不斷提升算法精度。

整體來(lái)看,“深目”AI模盒不僅僅是“壓縮”了大模型和芯片能力的一款全新產(chǎn)品,更是把云天勵(lì)飛大模型通過(guò)算法芯片化能力平臺(tái)“硬件化”的一次重要嘗試。把復(fù)雜的技術(shù)通過(guò)簡(jiǎn)單的產(chǎn)品提供給用戶,讓用戶可以零學(xué)習(xí)成本,快速訓(xùn)練出自己需要的算法。

云天勵(lì)飛副總裁羅憶介紹,云天勵(lì)飛為客戶提供的算法訓(xùn)練平臺(tái)上,有大量與生態(tài)合作伙伴共同打造的算法商城,能夠提供覆蓋14個(gè)大類、100+個(gè)小類、千余種算法,用戶可以直接調(diào)用預(yù)訓(xùn)練算法,并上傳自身場(chǎng)景圖片完成算法的微調(diào)和升級(jí),快速訓(xùn)練出高精度算法。

圍繞AI方案化、AI運(yùn)營(yíng)化、AI產(chǎn)品化,云天勵(lì)飛業(yè)務(wù)逐步開(kāi)展布局。

在AI方案化方面,云天勵(lì)飛在警務(wù)、城市治理、智慧交通、人居生活等領(lǐng)域打造諸多標(biāo)桿項(xiàng)目,并且在低空經(jīng)濟(jì)、智慧教育等創(chuàng)新領(lǐng)域持續(xù)展開(kāi)探索。基于在大量行業(yè)的落地經(jīng)驗(yàn),云天勵(lì)飛已形成數(shù)據(jù)運(yùn)營(yíng)、新能源運(yùn)營(yíng)平臺(tái),走向AI運(yùn)營(yíng)化。

AI產(chǎn)品化方面,去年,云天勵(lì)飛與華為昇騰聯(lián)合推出天舟大模型訓(xùn)推一體機(jī);本次推出面向邊緣訓(xùn)推場(chǎng)景的“深目”AI模盒。此外,近期云天勵(lì)飛還通過(guò)資本運(yùn)作,布局智能穿戴和機(jī)器人等硬件領(lǐng)域,形成日益完善的大模型產(chǎn)品體系。