硬剛閉源OpenAI：Meta發(fā)布“最強(qiáng)開(kāi)源模型”Llama 3.1
開(kāi)源陣營(yíng)迎來(lái)新的“大家伙”。
當(dāng)?shù)貢r(shí)間7月23日，Meta正式發(fā)布Llama 3.1。在官方博客中，Meta稱該模型是目前“最強(qiáng)大的開(kāi)源基礎(chǔ)模型”，并表示：“直到今天，開(kāi)源大模型在功能和性能方面大多落后于封閉模型?，F(xiàn)在，我們正在迎來(lái)一個(gè)開(kāi)源引領(lǐng)的新時(shí)代。”
作為開(kāi)源領(lǐng)域的常青樹(shù)，Llama系列一直在引領(lǐng)開(kāi)源大模型的腳步，Meta也被奉為與OpenAI齊名的巨頭，分別代表著開(kāi)源與閉源的技術(shù)走向。
發(fā)布Llama 3.1的同時(shí)，Meta創(chuàng)始人、CEO扎克伯格也發(fā)布長(zhǎng)文強(qiáng)調(diào)了開(kāi)源的意義，他表示，開(kāi)源是AI積極發(fā)展的必要條件，“今天我們正邁出下一步——使開(kāi)源AI成為行業(yè)標(biāo)準(zhǔn)。”
Llama 3.1包含8B、70B和405B三種參數(shù)規(guī)模，適用于多種場(chǎng)景，包括多語(yǔ)言代理、復(fù)雜推理和編碼助手等。該系列模型上下文窗口增加到了128K，擴(kuò)大16倍；支持多種語(yǔ)言，包括英語(yǔ)、德語(yǔ)、法語(yǔ)、意大利語(yǔ)、葡萄牙語(yǔ)、印地語(yǔ)、西班牙語(yǔ)和泰語(yǔ)等；提升了工具使用能力，支持搜索和Wolfram Alpha的數(shù)學(xué)推理；擁有更寬松的許可，允許使用模型輸出改進(jìn)其他LLMs。
評(píng)測(cè)結(jié)果顯示，Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業(yè)界頭部模型媲美，這也是Meta迄今為止最強(qiáng)大的模型。
Meta指出，最新一代的Llama將激發(fā)新的應(yīng)用程序和建模范式，包括利用合成數(shù)據(jù)生成來(lái)提升和訓(xùn)練更小的模型，以及模型蒸餾——這是一種在開(kāi)源領(lǐng)域從未有過(guò)的能力。
其實(shí)在模型公布前一天，Llama3.1的模型和基準(zhǔn)測(cè)試結(jié)果已經(jīng)在Reddit等技術(shù)社區(qū)上泄露，Llama 3.1的磁力鏈接在HuggingFace等社區(qū)中流傳?！伴_(kāi)源”“強(qiáng)大”成為業(yè)界人士使用感受中的高頻詞。
不少AI領(lǐng)域?qū)I(yè)人士在X上發(fā)表觀點(diǎn)，包括“這是開(kāi)源Al最重要的時(shí)刻，其在基準(zhǔn)測(cè)試上已經(jīng)有多項(xiàng)超越了GPT-4o”，“將先進(jìn)的大模型開(kāi)源，是擊敗那些傳播AGI恐怖論人員的最佳方式”等。此外，也有不少網(wǎng)友嘗試向Llama3.1提問(wèn)“9.11和9.9誰(shuí)大”這一經(jīng)典問(wèn)題，不過(guò)，Llama3.1也出現(xiàn)了偶爾答錯(cuò)的情況。
不同于OpenAI對(duì)技術(shù)文檔的“惜字”，Meta還發(fā)布了長(zhǎng)達(dá)92頁(yè)的論文，詳細(xì)披露了創(chuàng)造Llama 3.1的過(guò)程。HuggingFace首席科學(xué)家Thomas Wolf感慨說(shuō)：“如果你是從零開(kāi)始研究大模型，就從這篇論文讀起。”
技術(shù)論文也透露了一些訓(xùn)練細(xì)節(jié)，包括Llama 3.1在超過(guò)15萬(wàn)億個(gè)token的數(shù)據(jù)上進(jìn)行訓(xùn)練，用了1.6萬(wàn)塊英偉達(dá)H100芯片，預(yù)訓(xùn)練數(shù)據(jù)日期截止到2023年12月等。此外，為了保證訓(xùn)練穩(wěn)定性和便捷性，Meta只用了Transformer模型架構(gòu)進(jìn)行調(diào)整，而沒(méi)有采用現(xiàn)在流行的混合專家模型（MoE）架構(gòu)。
Llama 3.1發(fā)布之后，Meta與一系列公司迅速展開(kāi)合作，以發(fā)展更廣泛的生態(tài)系統(tǒng)，亞馬遜、Databricks和英偉達(dá)正在推出全套服務(wù)，以支持開(kāi)發(fā)人員微調(diào)和提煉他們自己的模型。Scale.AI、Dell、德勤等公司已準(zhǔn)備好幫助企業(yè)采用Llama，并用他們自己的數(shù)據(jù)訓(xùn)練定制模型。
國(guó)內(nèi)廠商方面，北京時(shí)間7月24日，騰訊云TI平臺(tái)適配并上架了Meta最新開(kāi)源大模型Llama3.1，騰訊云對(duì)該系列模型進(jìn)行了精調(diào)、推理測(cè)試驗(yàn)證，保障模型的可用性、易用性，可覆蓋智能對(duì)話、文本生成、寫(xiě)作等多個(gè)不同場(chǎng)景。
Llama 3.1面世，扎克伯格同一時(shí)間在官網(wǎng)發(fā)布長(zhǎng)文《開(kāi)源AI是前進(jìn)之路》，詳細(xì)闡釋了開(kāi)源對(duì)所有開(kāi)發(fā)者、對(duì)Meta、對(duì)世界的意義。
談及為何要開(kāi)源，以及開(kāi)源對(duì)于AI行業(yè)的意義，扎克伯格描繪了開(kāi)發(fā)者、Meta以及世界三方共贏的開(kāi)源之路。
他指出，對(duì)于開(kāi)發(fā)者而言，開(kāi)源模型可以幫助他們訓(xùn)練、微調(diào)和蒸餾自己的模型，掌控自己的命運(yùn)，而不是被閉源供應(yīng)商“鎖死”，可以保護(hù)他們的數(shù)據(jù)安全，并以更低的成本訓(xùn)練出屬于自己的高效率運(yùn)行模型。
對(duì)于Meta而言，為確保始終能夠獲取最佳技術(shù)，而不是被鎖定在競(jìng)爭(zhēng)對(duì)手的封閉生態(tài)系統(tǒng)中，Llama需要發(fā)展成為一個(gè)完整的工具生態(tài)系統(tǒng)，包括效率提升、硅片優(yōu)化和其他集成等。扎克伯格預(yù)計(jì)，人工智能的發(fā)展將持續(xù)激烈，這意味著開(kāi)源任何特定模型并不會(huì)在當(dāng)時(shí)喪失比下一個(gè)最佳模型更大的優(yōu)勢(shì)。Llama致力于通過(guò)持續(xù)保持競(jìng)爭(zhēng)力、效率和開(kāi)放性，逐步成為行業(yè)標(biāo)準(zhǔn)。
他還直白地表示：“Meta與閉源模型提供者的一個(gè)關(guān)鍵區(qū)別在于，出售AI大模型的訪問(wèn)權(quán)并不是我們的商業(yè)模式。這意味著公開(kāi)發(fā)布Llama并不會(huì)削弱我們的收入、可持續(xù)性或研究投資能力，而這對(duì)于閉源提供者來(lái)說(shuō)則不然?！?/p>
對(duì)于世界而言，扎克伯格認(rèn)為，開(kāi)源將確保全球更多的人能夠從AI的發(fā)展中獲得好處和機(jī)會(huì)，權(quán)力不會(huì)集中在少數(shù)幾家公司手中，技術(shù)能夠更均勻和安全地在社會(huì)中部署。
開(kāi)源與閉源的爭(zhēng)論一直是技術(shù)領(lǐng)域的熱點(diǎn)話題。他在文中寫(xiě)道：“我相信Llama 3.1的發(fā)布將成為行業(yè)的一個(gè)轉(zhuǎn)折點(diǎn)，大多數(shù)開(kāi)發(fā)者將開(kāi)始主要使用開(kāi)源?！?/p>
從技術(shù)進(jìn)步的角度，360集團(tuán)創(chuàng)始人周鴻祎曾表示，在開(kāi)源社區(qū)里，為了一個(gè)共同的目標(biāo)，凝聚起全球上千家公司、數(shù)十萬(wàn)程序員和工程師，一起來(lái)解決問(wèn)題，開(kāi)發(fā)力量是一個(gè)閉源公司的數(shù)百倍。而且在開(kāi)源的文化里，大家不用重復(fù)發(fā)明輪子，一個(gè)人在另一個(gè)人想法基礎(chǔ)上快速改進(jìn)，研發(fā)速度也特別快。
阿里云CTO周靖人告訴21世紀(jì)經(jīng)濟(jì)報(bào)道記者，開(kāi)源對(duì)全球技術(shù)及生態(tài)的貢獻(xiàn)毋庸置疑，這一點(diǎn)也在全球范圍內(nèi)被多次證明，已經(jīng)沒(méi)有再討論的必要。“我們認(rèn)為，大模型的潛力還沒(méi)有真正被挖掘出來(lái)，企業(yè)和開(kāi)發(fā)者能夠結(jié)合自己實(shí)際業(yè)務(wù)的需求，在開(kāi)源體系里探索出一個(gè)翻天覆地的變化?！彼f(shuō)。
科技巨頭們對(duì)AI的押注從未懈怠。Meta也從此前押注的元宇宙賽道積極往AI領(lǐng)域轉(zhuǎn)型。日前，Meta宣布削減其元宇宙部門(mén)Reality Labs的硬件預(yù)算，該部門(mén)負(fù)責(zé)AR、VR和元宇宙業(yè)務(wù)。Meta還將一些致力于AI的Reality Labs團(tuán)隊(duì)轉(zhuǎn)移到公司更廣泛的生成式AI團(tuán)隊(duì)，其中包括一個(gè)140人的AI語(yǔ)音開(kāi)發(fā)團(tuán)隊(duì)。
就在Llama 3.1發(fā)布同一天，谷歌母公司Alphabet管理團(tuán)隊(duì)還在二季度財(cái)報(bào)電話會(huì)上強(qiáng)調(diào)了AI投資的重要性。Alphabet首席執(zhí)行官Sundar Pichai直言：“對(duì)AI‘投資不足’的風(fēng)險(xiǎn)遠(yuǎn)超‘投資過(guò)度’風(fēng)險(xiǎn)”，即使出現(xiàn)過(guò)度投資的情況，當(dāng)前用于數(shù)據(jù)中心等基礎(chǔ)設(shè)施的投資也可以用于其他任務(wù)，而不在AI競(jìng)賽中保持領(lǐng)先地位將對(duì)公司造成更為嚴(yán)重的負(fù)面影響?！?/p>
GPT-4o剛剛刷過(guò)存在感，Llama 3.1又橫空出世。在這場(chǎng)AI競(jìng)賽中，科技巨頭們步履不停，無(wú)論是閉源還是開(kāi)源，未來(lái)都還有硬仗。
標(biāo)簽： 開(kāi)源 最強(qiáng) 模型
體檢游戲免費(fèi)，打破常規(guī)的健康之道，讓健康不再昂貴——一款充滿驚喜的體檢游戲
下一篇中控技術(shù)(688777.SH)：深入研究AI技術(shù)，結(jié)合工業(yè)場(chǎng)景需求，實(shí)現(xiàn)人形機(jī)器人及其衍生智能機(jī)器人、核心關(guān)鍵零部件的產(chǎn)業(yè)化
相關(guān)文章
最新評(píng)論