成人动漫一区二区三区-国产精品久久久久影院-狠狠色综合网站久久久久久久-两个黑人大战嫩白金发美女-欧美在线观看-少妇太爽了在线观看

如何運(yùn)行 Mixtral 8X7B?捷智算平臺(tái)運(yùn)行 Mixtral 8X7B步驟詳解
發(fā)布時(shí)間: 2024-08-05 14:14

Mixtral 是 Mistral AI 最新的開源模型。Mistral AI 于 12 月 8 日通過(guò)磁力鏈接的一條推文發(fā)布了該模型,沒(méi)有任何文檔、解釋或其他評(píng)論。Mistral AI 有幾種流行的開源 LLM 模型,包括 Mistral 7B。


Mixtral 8X7B 的顯著特點(diǎn)是它是一個(gè)混合專家 (MoE) 模型,具有卓越的能力。本指南使用了一些 hack 實(shí)現(xiàn)來(lái)使其運(yùn)行。一旦該模型推出幾個(gè)月,它肯定會(huì)獲得更多開源工具的支持。


如何運(yùn)行 Mixtral 8X7B?


要在捷智算平臺(tái)上運(yùn)行它,請(qǐng)使用 8X 4090/3090 或 4X A6000/A40 實(shí)例。實(shí)例上需要 120GB 的總 GPU RAM 來(lái)運(yùn)行模型。我們使用典型的開發(fā) Pytorch 推薦模板和修改版的 Illama 來(lái)運(yùn)行推理。這是一個(gè)沒(méi)有指令微調(diào)的基礎(chǔ)模型,因此適當(dāng)?shù)奶崾炯记珊苡袔椭?/p>


運(yùn)行 Mixtral 8X7B步驟


1、選擇模板:

通過(guò)在模板中選擇Pytorch 的Devel 模板。


2、租用服務(wù)器:

  • 選擇 8X 4090/3090 或 4X A40/A6000

  • 添加至少 120GB 的磁盤空間

  • 點(diǎn)擊租賃按鈕

  • 如果需要的話,購(gòu)買積分。

  • 請(qǐng)參閱快速入門指南以獲取幫助。


3、SSH 進(jìn)入機(jī)器:

  • 單擊 >_ 按鈕從實(shí)例卡獲取 SSH 信息

  • 通過(guò) SSH 命令連接到實(shí)例。它看起來(lái)像這樣,但包含實(shí)例的端口和服務(wù)器 IP 信息:

ssh -p <yourport> root@<yourserverip> -L 8080:localhost:8080


4、下載 Mixtral 8X7B 模型重量:

  • 使用 torrent 文件。這通常需要大約 15 分鐘,具體取決于服務(wù)器的下載速度。

  • 要下載 torrent 文件,請(qǐng)運(yùn)行:

apt install transmission-cli

transmission-cli magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%http://2Fopentracker.i2p.rocks%3A6969%2Fannounce&tr=http%3A%2F%http://2Ftracker.openbittorrent.com%3A80%2Fannounce


5、安裝 Illama 進(jìn)行推理:

  • 克隆存儲(chǔ)庫(kù):

git clone https://github.com/dzhulgakov/llama-mistral

  • 安裝依賴項(xiàng):

pip install fire sentencepiece


6、運(yùn)行 Mixtral 8X7B!:

  • 加載模型權(quán)重并運(yùn)行提示example_text_completion.py。如果您使用 8 個(gè) GPU,請(qǐng)?jiān)谶\(yùn)行命令末尾附加“--num-gpus 8”,如下例所示。如果您使用 2 個(gè) GPU,請(qǐng)刪除該行。:

cd llama-mistral

python example_text_completion.py ../Downloads/mixtral-8x7b-32kseqlen/ ../Downloads/mixtral-8x7b-32kseqlen/tokenizer.model --num-gpus 8

就這樣!您將獲得當(dāng)前列出的提示的輸出


7、修改提示:

  • 安裝 Nano:

apt install nano

  • 編輯文件:

nano example_text_completion.py

  • 找到底部的提示并進(jìn)行修改。

  • 重新運(yùn)行python文件以獲取新的響應(yīng)。


感謝您使用捷智算平臺(tái)運(yùn)行最新的開源 LLM Mixtral 8X7B。給我們留言,讓我們知道您對(duì)該模型的看法。

粵公網(wǎng)安備 44030502006483號(hào)、 粵ICP備15047669號(hào)
  • 捷易科技聯(lián)系人
  • 主站蜘蛛池模板: 公与淑婷厨房猛烈进出视频免费| 亚洲成av人片天堂网无码】| 人人狠狠综合88综合久久| 国产精彩亚洲中文在线| 国产色在线 | 国产| 亚洲精品久久久久午夜福禁果tⅴ| 最新69成人精品视频免费| 影音先锋人妻每日资源站| 2018高清国产一区二区三区| 国产精品白浆精子像水合集| 国产成人无码精品久久久免费| 国产精品视频自拍| 国产69精品久久久久乱码韩国| 免费男人下部进女人下部视频| 亚洲欧美丝袜精品久久中文字幕| 性少妇chinesevideo| 在线a亚洲视频播放在线观看| 欧美激情性xxxxx高清真| 精品一区二区三区免费视频| 色狠狠一区二区三区香蕉| 欧洲人妻丰满av无码久久不卡| 亚洲精品一区二区三区婷婷月 | 性生交大片免费看| 伊人精品久久久久7777| 在线精品一区二区三区| 日本免费一区二区视频| 久久毛片免费看一区二区三区| 国产无套露脸在线观看| 成人无码在线视频区| 国产综合久久久久鬼色| 国产成人愉拍精品| 日本丰满熟妇videossex| 99久久精品毛片免费播放高潮| 国产亚洲福利在线视频| 国产精品免费无遮挡无码永久视频 | 日韩欧美一区二区不卡| 天天爱天天做天天添天天欢 | 在厨房被c到高潮a毛片奶水| 在线观看片免费视频无码| 久久夜色精品国产亚洲| 91中文精品|