成人动漫一区二区三区-国产精品久久久久影院-狠狠色综合网站久久久久久久-两个黑人大战嫩白金发美女-欧美在线观看-少妇太爽了在线观看

Meta 推出 Llama 3.1:開源 AI 的新時(shí)代
發(fā)布時(shí)間: 2024-08-08 16:17

Llama 3.1 帶來新突破

上個(gè)月底,Meta推出了Llama 3.1 大型語言模型 (LLM) 系列。它由三個(gè)新模型組成——預(yù)先訓(xùn)練和指令調(diào)整的文本輸入/文本輸出開源生成式 AI 模型,參數(shù)數(shù)量分別為 8B、70B 和 405B。


據(jù) Meta 稱,旗艦 405B 版本是“全球最大、功能最強(qiáng)大的公開可用基礎(chǔ)型號(hào)”。


開源方法和創(chuàng)新


首席執(zhí)行官馬克·扎克伯格 (Mark Zuckerberg) 倡導(dǎo)開源方法,并預(yù)測它最終將成為行業(yè)標(biāo)準(zhǔn),就像 Linux 之于操作系統(tǒng)一樣。他斷言,與專有的閉源模型相比,開源 AI 模型不僅發(fā)展更快,而且具有更大的創(chuàng)新潛力。


Llama 3.1 的發(fā)布確實(shí)為全球 AI 社區(qū)注入了活力,圍繞其潛力展開了大量討論和探索。以下是您需要了解的內(nèi)容!


先前的目標(biāo)和最近的成就


今年早些時(shí)候,當(dāng)?shù)谝豢铙w型較小的 Llama 3 模型(Llama 2)發(fā)布時(shí),Meta表示其近期目標(biāo)是“讓 Llama 3 具備多語言和多模式能力,擁有更長的語境,并繼續(xù)提高推理和編碼等 LLM 功能的整體性能”。


借助 Llama 3.1,它朝著實(shí)現(xiàn)這一目標(biāo)邁出了一大步。LLM 尚未實(shí)現(xiàn)多模式,但它確實(shí)擁有新的多語言功能(西班牙語、葡萄牙語、意大利語、德語和泰語),以及擴(kuò)展的工具使用和大幅增加的上下文長度。405B 模型使用超過 16,000 個(gè) NVIDIA H100 GPU 在 15 萬億個(gè)標(biāo)記的海量數(shù)據(jù)集上進(jìn)行訓(xùn)練,比其前代模型復(fù)雜得多,功能也強(qiáng)大得多。


性能基準(zhǔn)


Meta表示,Llama 3.1 405B 在多項(xiàng)基準(zhǔn)測試中的表現(xiàn)優(yōu)于 OpenAI 的 GPT-4 和 GPT-4o 以及 Anthropic 的 Claude 3.5 Sonnet。據(jù)報(bào)道,在一系列不同的任務(wù)中,它與其閉源競爭對(duì)手“不相上下”。


以下是 405B 模型與其他常用基準(zhǔn)的尖端 LLM 的比較(未包括 Gemini,因?yàn)?Meta 難以使用Google的 API 來復(fù)制其結(jié)果):




模型架構(gòu)和設(shè)計(jì)


在介紹 Llama 3.1的博客中,Meta 指出該模型的完整訓(xùn)練堆棧“得到了顯著優(yōu)化”。設(shè)計(jì)選擇優(yōu)先考慮了模型開發(fā)過程的可擴(kuò)展性和簡單性。


例如,為了最大限度地提高訓(xùn)練穩(wěn)定性,Llama 3.1 使用標(biāo)準(zhǔn)的僅解碼器的 Transformer 模型架構(gòu),并進(jìn)行了細(xì)微調(diào)整,而不是混合專家模型。Meta 還采用了迭代后訓(xùn)練程序,每輪都使用監(jiān)督微調(diào)和直接偏好優(yōu)化。結(jié)果是每次迭代都會(huì)創(chuàng)建出高質(zhì)量的合成數(shù)據(jù),從而增強(qiáng)了每項(xiàng)功能的性能。


405B 模型本身甚至被用來提高較小的 70B 和 8B 模型的訓(xùn)練后質(zhì)量。


值得注意的是,為了便于對(duì) 405B 規(guī)模的模型進(jìn)行大規(guī)模生產(chǎn)推理,Meta 從 16 位 (BF16) 轉(zhuǎn)換為 8 位 (FP8) 數(shù)值。這有效地降低了計(jì)算要求并使模型能夠在單個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)運(yùn)行。


用戶現(xiàn)在還可以享受更長的上下文窗口。Llama 3.1 模型的上下文長度已從 Llama 3 中的 8,192 個(gè)標(biāo)記擴(kuò)展到 Llama 3.1 中的 128,000 個(gè)標(biāo)記。這大約是原來的 16 倍!


事實(shí)上,擴(kuò)展的上下文長度現(xiàn)在比 GPT-4 大得多,大約等于企業(yè)用戶使用 GPT-4o 獲得的長度,并且與 Claude 3 的 200,000 個(gè)標(biāo)記窗口相當(dāng)。


最重要的是,高需求時(shí)期不會(huì)影響訪問,因?yàn)?Llama 3.1 可以部署在您自己的硬件或所選的云提供商上。一般來說,也不會(huì)有廣泛的使用限制。


使用和構(gòu)建 Llama 3.1 405B


作為一款如此強(qiáng)大的機(jī)型,405B 需要大量的計(jì)算資源和開發(fā)人員的專業(yè)知識(shí)才能使用。Meta 明確表示,它希望用戶能夠充分利用它——利用其先進(jìn)的功能并立即開始構(gòu)建。以下是一些可能性:


  • 實(shí)時(shí)和批量推理

  • 監(jiān)督微調(diào),包括特定領(lǐng)域

  • LLM-as-a-judge(評(píng)估你的模型是否適合你的具體應(yīng)用)

  • 持續(xù)預(yù)訓(xùn)練

  • 檢索增強(qiáng)生成 (RAG)

  • 函數(shù)調(diào)用

  • 合成數(shù)據(jù)生成


Meta 生成 AI 副總裁 Ahmad Al-Dahle預(yù)測,知識(shí)提煉將成為開發(fā)人員對(duì) 405B 模型的流行用途。也就是說,它可以用作更大的“教師”模型,將其知識(shí)和新興能力提煉成更小的“學(xué)生”模型,具有更快、更經(jīng)濟(jì)的推理能力。


另一個(gè)例子:Al-Dahle 表示,Llama 3.1 可以與搜索引擎 API 集成,以“根據(jù)復(fù)雜的查詢從互聯(lián)網(wǎng)上檢索信息,并連續(xù)調(diào)用多個(gè)工具以完成您的任務(wù)。”如果您要求該模型繪制過去五年內(nèi)售出的房屋數(shù)量,“它可以為您檢索[網(wǎng)絡(luò)]搜索并生成 Python 代碼并執(zhí)行它。”還不錯(cuò)。


Llama 生態(tài)系統(tǒng)還為各種用例和高級(jí)工作流程提供了交鑰匙指南,供任何人使用。Meta 已與 vLLM、TensorRT 和 PyTorch 等項(xiàng)目合作,從一開始就提供支持,讓用戶更容易上手。


未來趨勢


最終,Llama 3.1 代表了追求開放、可訪問和負(fù)責(zé)任的 AI 創(chuàng)新的重要飛躍。


在捷智算平臺(tái),我們非常欣賞這些開大規(guī)模語言模型的可訪問性,以及周圍社區(qū)的合作。我們自己的使命與讓人工智能惠及每個(gè)人的理念相一致。


為此,我們很高興能夠在捷智算平臺(tái)上提供開源文本生成接口 (TGI) 框架,這樣您就可以提供像 Llama 3.1 這樣的 LLM,并以更實(shí)惠的計(jì)算成本運(yùn)行您自己的模型。

粵公網(wǎng)安備 44030502006483號(hào)、 粵ICP備15047669號(hào)
  • 捷易科技聯(lián)系人
  • 主站蜘蛛池模板: 精品国内综合一区二区| 99久久久国产精品免费牛牛| 日韩av无码精品人妻系列| 无码av中文一区二区三区桃花岛| 国产粉嫩嫩00在线正在播放| 亚洲国产精品13p| 精品国产品香蕉在线| 日韩毛片在线视频x| 狠狠躁夜夜躁人人爽天天开心婷婷| 少妇与黑人一二三区无码| 91精品国产手机在| 男生白内裤自慰gv白袜男同| 激情久久一区二区| 男女猛烈xx00免费视频试看| 无码不卡黑人与日本人| 欧美黑人欧美精品刺激| 久久丁香五月天综合网| 爆乳高潮喷水无码正在播放| 高大丰满熟妇丰满的大白屁股| 国产偷窥真人视频在线观看| 成人精品视频99在线观看免费| 亚洲国产精品久久久久久无码 | 内射后入在线观看一区| 欧美精品一区二区黄a片| 亚洲综合无码无在线观看| 国产内射999视频一区| 婷婷综合缴情亚洲狠狠| 免费看美女被靠到爽的视频| 在线精品免费视频无码的| 老师黑色丝袜被躁翻了av| 国产精品一区二区四区| 亚洲欧洲一区二区三区在线| 亚洲综合伊人久久综合| 无码成人午夜在线观看| 18禁黄久久久aaa片| 精品国产电影久久九九| 日本最新免费二区三区| 日本文字幕a∨| 精品一区二区三区自拍图片区| 一本一道vs无码中文字幕| 亚洲成熟女人av在线观看|