今天打算在云端部署一个自己的deepseek,运用的是阿里云的DSW交互式建模。
开始部署,打开dsw实例的terminal,输入代码
curl -fsSL https://ollama.com/install.sh | sh
因为网络原因,下载可能会有点慢
安装完成后,输入
ollama serve
即可开启ollama
进入ollama官网ollama
根据GPU的显存选择需要的deepseek模型大小,复制左侧代码安装,安装完成后即可开始对话,后续还需要webui的支持实现网页对话
经过多次尝试,终于完成了open-webui的部署。
目前最优部署是直接用pip下载
1.下载miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh
按照步骤安装完成
2.创建并激活虚拟环境
conda create –name open python=3.11
conda activate open
pip install open-webui
3.启动open-webui
open-webui serve
第一次启动大概率会报错,因为要从huggingface下载模型,所以我们要先换源
export HF_ENDPOINT=https://hf-mirror.com
然后执行启动命令,这样就成功了
接下来就要用内网穿透来实现远程访问了
评论(0)
暂无评论