成人动漫一区二区三区-国产精品久久久久影院-狠狠色综合网站久久久久久久-两个黑人大战嫩白金发美女-欧美在线观看-少妇太爽了在线观看

如何運(yùn)行 Mixtral 8X7B?捷智算平臺(tái)運(yùn)行 Mixtral 8X7B步驟詳解
發(fā)布時(shí)間: 2024-08-05 14:14

Mixtral 是 Mistral AI 最新的開源模型。Mistral AI 于 12 月 8 日通過(guò)磁力鏈接的一條推文發(fā)布了該模型,沒(méi)有任何文檔、解釋或其他評(píng)論。Mistral AI 有幾種流行的開源 LLM 模型,包括 Mistral 7B。


Mixtral 8X7B 的顯著特點(diǎn)是它是一個(gè)混合專家 (MoE) 模型,具有卓越的能力。本指南使用了一些 hack 實(shí)現(xiàn)來(lái)使其運(yùn)行。一旦該模型推出幾個(gè)月,它肯定會(huì)獲得更多開源工具的支持。


如何運(yùn)行 Mixtral 8X7B?


要在捷智算平臺(tái)上運(yùn)行它,請(qǐng)使用 8X 4090/3090 或 4X A6000/A40 實(shí)例。實(shí)例上需要 120GB 的總 GPU RAM 來(lái)運(yùn)行模型。我們使用典型的開發(fā) Pytorch 推薦模板和修改版的 Illama 來(lái)運(yùn)行推理。這是一個(gè)沒(méi)有指令微調(diào)的基礎(chǔ)模型,因此適當(dāng)?shù)奶崾炯记珊苡袔椭?/p>


運(yùn)行 Mixtral 8X7B步驟


1、選擇模板:

通過(guò)在模板中選擇Pytorch 的Devel 模板。


2、租用服務(wù)器:

  • 選擇 8X 4090/3090 或 4X A40/A6000

  • 添加至少 120GB 的磁盤空間

  • 點(diǎn)擊租賃按鈕

  • 如果需要的話,購(gòu)買積分。

  • 請(qǐng)參閱快速入門指南以獲取幫助。


3、SSH 進(jìn)入機(jī)器:

  • 單擊 >_ 按鈕從實(shí)例卡獲取 SSH 信息

  • 通過(guò) SSH 命令連接到實(shí)例。它看起來(lái)像這樣,但包含實(shí)例的端口和服務(wù)器 IP 信息:

ssh -p <yourport> root@<yourserverip> -L 8080:localhost:8080


4、下載 Mixtral 8X7B 模型重量:

  • 使用 torrent 文件。這通常需要大約 15 分鐘,具體取決于服務(wù)器的下載速度。

  • 要下載 torrent 文件,請(qǐng)運(yùn)行:

apt install transmission-cli

transmission-cli magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce


5、安裝 Illama 進(jìn)行推理:

  • 克隆存儲(chǔ)庫(kù):

git clone https://github.com/dzhulgakov/llama-mistral

  • 安裝依賴項(xiàng):

pip install fire sentencepiece


6、運(yùn)行 Mixtral 8X7B!:

  • 加載模型權(quán)重并運(yùn)行提示example_text_completion.py。如果您使用 8 個(gè) GPU,請(qǐng)?jiān)谶\(yùn)行命令末尾附加“--num-gpus 8”,如下例所示。如果您使用 2 個(gè) GPU,請(qǐng)刪除該行。:

cd llama-mistral

python example_text_completion.py ../Downloads/mixtral-8x7b-32kseqlen/ ../Downloads/mixtral-8x7b-32kseqlen/tokenizer.model --num-gpus 8

就這樣!您將獲得當(dāng)前列出的提示的輸出


7、修改提示:

  • 安裝 Nano:

apt install nano

  • 編輯文件:

nano example_text_completion.py

  • 找到底部的提示并進(jìn)行修改。

  • 重新運(yùn)行python文件以獲取新的響應(yīng)。


感謝您使用捷智算平臺(tái)運(yùn)行最新的開源 LLM Mixtral 8X7B。給我們留言,讓我們知道您對(duì)該模型的看法。

粵公網(wǎng)安備 44030502006483號(hào)、 粵ICP備15047669號(hào)
  • 捷易科技聯(lián)系人
  • 主站蜘蛛池模板: 男人的天堂va在线无码| 中文字幕有码在线| 亚洲欧美日韩视频高清专区 | 亚洲中文字幕无码av在线| 国产色系视频在线观看| 久久久亚洲欧洲日产国码二区| 97人妻碰碰碰久久久久| 中文字幕av日韩精品一区二区 | 91九色国产乱伦| 亚洲精品综合一区二区| 久久久精品免费| 伊人久久大香线蕉av色| 天堂8中文在线最新版在线| 日韩风间由| 人妖与黑人做爰| 无码少妇一区二区三区视频| 亚洲成av人片天堂网| 欧美精品久久久久久久自慰| 国产一区二三区| 午夜三级a三级三点| 久久久久久久岛国免费观看| 乱人伦人妻中文字幕无码久久网| 丰满肥臀大屁股熟妇激情视频| 老司机性色福利精品视频| 国产精品成人久久电影| 亚洲免费一区二区三区| 人妻aⅴ中文字幕| 999zyz玖玖资源站在线观看| 国产成人一区二区三区视频免费| 乱色欧美激惰| 亚洲乱码中文论理电影| 午夜熟女插插xx免费视频| 日本熟熟妇xxxxx精品熟妇| 乱人伦中文字幕成人网站在线| 天美麻花星空视频| 精品毛片乱码1区2区3区| 日韩乱伦电影网?| 亚洲人成无码网站在线观看| 性无码一区二区三区在线观看| 成人夜色视频网站在线观看| 亚洲中文字幕无码中字|