成人动漫一区二区三区-国产精品久久久久影院-狠狠色综合网站久久久久久久-两个黑人大战嫩白金发美女-欧美在线观看-少妇太爽了在线观看

Meta 推出 Llama 3.1:開源 AI 的新時(shí)代
發(fā)布時(shí)間: 2024-08-08 16:17

Llama 3.1 帶來新突破

上個(gè)月底,Meta推出了Llama 3.1 大型語言模型 (LLM) 系列。它由三個(gè)新模型組成——預(yù)先訓(xùn)練和指令調(diào)整的文本輸入/文本輸出開源生成式 AI 模型,參數(shù)數(shù)量分別為 8B、70B 和 405B。


據(jù) Meta 稱,旗艦 405B 版本是“全球最大、功能最強(qiáng)大的公開可用基礎(chǔ)型號(hào)”。


開源方法和創(chuàng)新


首席執(zhí)行官馬克·扎克伯格 (Mark Zuckerberg) 倡導(dǎo)開源方法,并預(yù)測它最終將成為行業(yè)標(biāo)準(zhǔn),就像 Linux 之于操作系統(tǒng)一樣。他斷言,與專有的閉源模型相比,開源 AI 模型不僅發(fā)展更快,而且具有更大的創(chuàng)新潛力。


Llama 3.1 的發(fā)布確實(shí)為全球 AI 社區(qū)注入了活力,圍繞其潛力展開了大量討論和探索。以下是您需要了解的內(nèi)容!


先前的目標(biāo)和最近的成就


今年早些時(shí)候,當(dāng)?shù)谝豢铙w型較小的 Llama 3 模型(Llama 2)發(fā)布時(shí),Meta表示其近期目標(biāo)是“讓 Llama 3 具備多語言和多模式能力,擁有更長的語境,并繼續(xù)提高推理和編碼等 LLM 功能的整體性能”。


借助 Llama 3.1,它朝著實(shí)現(xiàn)這一目標(biāo)邁出了一大步。LLM 尚未實(shí)現(xiàn)多模式,但它確實(shí)擁有新的多語言功能(西班牙語、葡萄牙語、意大利語、德語和泰語),以及擴(kuò)展的工具使用和大幅增加的上下文長度。405B 模型使用超過 16,000 個(gè) NVIDIA H100 GPU 在 15 萬億個(gè)標(biāo)記的海量數(shù)據(jù)集上進(jìn)行訓(xùn)練,比其前代模型復(fù)雜得多,功能也強(qiáng)大得多。


性能基準(zhǔn)


Meta表示,Llama 3.1 405B 在多項(xiàng)基準(zhǔn)測試中的表現(xiàn)優(yōu)于 OpenAI 的 GPT-4 和 GPT-4o 以及 Anthropic 的 Claude 3.5 Sonnet。據(jù)報(bào)道,在一系列不同的任務(wù)中,它與其閉源競爭對(duì)手“不相上下”。


以下是 405B 模型與其他常用基準(zhǔn)的尖端 LLM 的比較(未包括 Gemini,因?yàn)?Meta 難以使用Google的 API 來復(fù)制其結(jié)果):




模型架構(gòu)和設(shè)計(jì)


在介紹 Llama 3.1的博客中,Meta 指出該模型的完整訓(xùn)練堆棧“得到了顯著優(yōu)化”。設(shè)計(jì)選擇優(yōu)先考慮了模型開發(fā)過程的可擴(kuò)展性和簡單性。


例如,為了最大限度地提高訓(xùn)練穩(wěn)定性,Llama 3.1 使用標(biāo)準(zhǔn)的僅解碼器的 Transformer 模型架構(gòu),并進(jìn)行了細(xì)微調(diào)整,而不是混合專家模型。Meta 還采用了迭代后訓(xùn)練程序,每輪都使用監(jiān)督微調(diào)和直接偏好優(yōu)化。結(jié)果是每次迭代都會(huì)創(chuàng)建出高質(zhì)量的合成數(shù)據(jù),從而增強(qiáng)了每項(xiàng)功能的性能。


405B 模型本身甚至被用來提高較小的 70B 和 8B 模型的訓(xùn)練后質(zhì)量。


值得注意的是,為了便于對(duì) 405B 規(guī)模的模型進(jìn)行大規(guī)模生產(chǎn)推理,Meta 從 16 位 (BF16) 轉(zhuǎn)換為 8 位 (FP8) 數(shù)值。這有效地降低了計(jì)算要求并使模型能夠在單個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)運(yùn)行。


用戶現(xiàn)在還可以享受更長的上下文窗口。Llama 3.1 模型的上下文長度已從 Llama 3 中的 8,192 個(gè)標(biāo)記擴(kuò)展到 Llama 3.1 中的 128,000 個(gè)標(biāo)記。這大約是原來的 16 倍!


事實(shí)上,擴(kuò)展的上下文長度現(xiàn)在比 GPT-4 大得多,大約等于企業(yè)用戶使用 GPT-4o 獲得的長度,并且與 Claude 3 的 200,000 個(gè)標(biāo)記窗口相當(dāng)。


最重要的是,高需求時(shí)期不會(huì)影響訪問,因?yàn)?Llama 3.1 可以部署在您自己的硬件或所選的云提供商上。一般來說,也不會(huì)有廣泛的使用限制。


使用和構(gòu)建 Llama 3.1 405B


作為一款如此強(qiáng)大的機(jī)型,405B 需要大量的計(jì)算資源和開發(fā)人員的專業(yè)知識(shí)才能使用。Meta 明確表示,它希望用戶能夠充分利用它——利用其先進(jìn)的功能并立即開始構(gòu)建。以下是一些可能性:


  • 實(shí)時(shí)和批量推理

  • 監(jiān)督微調(diào),包括特定領(lǐng)域

  • LLM-as-a-judge(評(píng)估你的模型是否適合你的具體應(yīng)用)

  • 持續(xù)預(yù)訓(xùn)練

  • 檢索增強(qiáng)生成 (RAG)

  • 函數(shù)調(diào)用

  • 合成數(shù)據(jù)生成


Meta 生成 AI 副總裁 Ahmad Al-Dahle預(yù)測,知識(shí)提煉將成為開發(fā)人員對(duì) 405B 模型的流行用途。也就是說,它可以用作更大的“教師”模型,將其知識(shí)和新興能力提煉成更小的“學(xué)生”模型,具有更快、更經(jīng)濟(jì)的推理能力。


另一個(gè)例子:Al-Dahle 表示,Llama 3.1 可以與搜索引擎 API 集成,以“根據(jù)復(fù)雜的查詢從互聯(lián)網(wǎng)上檢索信息,并連續(xù)調(diào)用多個(gè)工具以完成您的任務(wù)。”如果您要求該模型繪制過去五年內(nèi)售出的房屋數(shù)量,“它可以為您檢索[網(wǎng)絡(luò)]搜索并生成 Python 代碼并執(zhí)行它。”還不錯(cuò)。


Llama 生態(tài)系統(tǒng)還為各種用例和高級(jí)工作流程提供了交鑰匙指南,供任何人使用。Meta 已與 vLLM、TensorRT 和 PyTorch 等項(xiàng)目合作,從一開始就提供支持,讓用戶更容易上手。


未來趨勢


最終,Llama 3.1 代表了追求開放、可訪問和負(fù)責(zé)任的 AI 創(chuàng)新的重要飛躍。


在捷智算平臺(tái),我們非常欣賞這些開大規(guī)模語言模型的可訪問性,以及周圍社區(qū)的合作。我們自己的使命與讓人工智能惠及每個(gè)人的理念相一致。


為此,我們很高興能夠在捷智算平臺(tái)上提供開源文本生成接口 (TGI) 框架,這樣您就可以提供像 Llama 3.1 這樣的 LLM,并以更實(shí)惠的計(jì)算成本運(yùn)行您自己的模型。

粵公網(wǎng)安備 44030502006483號(hào)、 粵ICP備15047669號(hào)
  • 捷易科技聯(lián)系人
  • 主站蜘蛛池模板: 亚洲人av高清无码| 亚洲成在人线aⅴ免费毛片| 玩弄放荡人妻一区二区三区| 久久高清内射无套| 午夜精品久久久久久不卡| 蜜臀av午夜一区二区三区| 国产亚洲精品久久久久久久| 重口另类在| 国产高清一区二区三区直播| 天堂www中文在线资源| 三级视频网站| 国产69精品久久久久乱码| 特大巨黑吊xxxx高潮| 亚洲欧洲精品无码av| 伊人久久大香线蕉av色| 日本老熟妇毛茸茸| 日韩中文字幕在线一区二区三区| 亚洲精品国产精品国产自2022| 成a人片亚洲日本久久| 狠狠色综合tv久久久久久| 色婷婷六月天| 亚洲大尺度无码无码专线一区| 亚洲人成在线播放无码| 亚洲成在人线在线播放无码| 性欧美videofree高清极品| 精品久久国产视频| 精品毛片乱码1区2区3区| 熟女少妇人妻黑人sirbao| 国产999精品久久久久久| 国产成人亚洲精品青草| 欧美最猛黑人xxxx| 国产精品第六页| 成年无码av片| 51国偷自产一区二区三区| 日韩人妻系列无码专区| 欧美性受xxxx白人性爽| 亚洲欧美激| 91在线播放网站| 337p日本欧洲亚洲大胆裸体艺术 | 国产成人精品午夜2022| 亚洲中字慕日产2020|