boxmoe_header_banner_img

早安午安晚安

加载中

文章导读

deepseek云部署


avatar
czn 2025年2月3日 29

今天打算在云端部署一个自己的deepseek,运用的是阿里云的DSW交互式建模。
开始部署,打开dsw实例的terminal,输入代码

curl -fsSL https://ollama.com/install.sh | sh

因为网络原因,下载可能会有点慢
安装完成后,输入

ollama serve

即可开启ollama
进入ollama官网ollama
根据GPU的显存选择需要的deepseek模型大小,复制左侧代码安装,安装完成后即可开始对话,后续还需要webui的支持实现网页对话

经过多次尝试,终于完成了open-webui的部署。
目前最优部署是直接用pip下载
1.下载miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

chmod +x Miniconda3-latest-Linux-x86_64.sh

./Miniconda3-latest-Linux-x86_64.sh

按照步骤安装完成
2.创建并激活虚拟环境

conda create –name open python=3.11

conda activate open

pip install open-webui

3.启动open-webui

open-webui serve

第一次启动大概率会报错,因为要从huggingface下载模型,所以我们要先换源

export HF_ENDPOINT=https://hf-mirror.com

然后执行启动命令,这样就成功了
接下来就要用内网穿透来实现远程访问了



评论(0)

查看评论列表

暂无评论


发表评论

表情 颜文字
插入代码