新聞資訊
了解金山云最新資訊
2025-03-10 13:00:00
金山云算力平臺、容器服務(wù)已支持DeepSeek R1系列模型，用戶可以通過以下兩種方案快速部署相關(guān)模型服務(wù)。
算力平臺DeepSeek模型部署
1. 在算力平臺控制臺進(jìn)入模型在線服務(wù)列表頁
2. 點(diǎn)擊新建，填寫服務(wù)基本信息-選擇DeepSeek模型型號-配置資源規(guī)格-配置網(wǎng)絡(luò)信息
3. 點(diǎn)擊確認(rèn)，確認(rèn)后平臺進(jìn)入模型部署環(huán)節(jié)，等待服務(wù)狀態(tài)變?yōu)檫\(yùn)行中后即可對模型進(jìn)行調(diào)用使用
4. 模型部署后調(diào)用方式
a. 在線服務(wù)列表頁找到要調(diào)用的服務(wù)
b. 確認(rèn)要調(diào)用的在線服務(wù)-操作列點(diǎn)擊調(diào)用即可查看調(diào)用方式
c. 調(diào)用示例：
注：當(dāng)前部署在線服務(wù)需用戶預(yù)先進(jìn)行資源池創(chuàng)建并保證資源池內(nèi)有可用GPU資源，用戶可以通過關(guān)聯(lián)KCE（金山云容器服務(wù)）集群實(shí)現(xiàn)資源池創(chuàng)建。
金山云算力平臺面向模型開發(fā)者和運(yùn)維人員提供云原生AI算力支持，提供模型開發(fā)、訓(xùn)練、模型服務(wù)與管理場景下的全流程能力。當(dāng)前模型在線服務(wù)模塊已支持Deepseek R1蒸餾系列模型，全尺寸模型及國產(chǎn)芯片適配后續(xù)將陸續(xù)發(fā)布。
容器服務(wù)DeepSeek模型部署
KCE現(xiàn)已支持vLLM和Ollama工具部署DeepSeek，通過控制臺Yaml部署或通過Kubeconfig連接集群使用kubectl apply命令，即可完成DeepSeek R1系列模型與WebUI的聯(lián)合部署，Yaml文件已同步更新至金山云文檔「容器服務(wù)-實(shí)踐」專區(qū)，可快速搭建AI應(yīng)用環(huán)境。
部署前準(zhǔn)備
1. 開通KCE集群，KCE集群開通方式請參考創(chuàng)建集群，并且安裝CSI Driver組件
https://docs.ksyun.com/documents/2664
2. 集群中包含GPU Worker節(jié)點(diǎn)，需要先購買GPU裸金屬服務(wù)器后加入KCE集群，參考文章如下：
a. 購買裸金屬服務(wù)器
https://docs.ksyun.com/documents/605
b. 裸金屬服務(wù)器加入KCE集群
https://docs.ksyun.com/documents/28310?type=3
部署說明
1. 模型鏡像已存放至KS3文件存儲中，以PVC形式掛載在vLLM或Ollama的Pod內(nèi)
2. vLLM部署資源
3. Ollama部署資源
4. 部署后模型服務(wù)訪問
根據(jù)Service webui的LB地址訪問，http://{ip}
訪問效果：