一、前言
DeepSeek是一款性能强大的开源AI模型,支持代码生成、逻辑推理等复杂任务。其开源版本DeepSeek-R1效果接近ChatGPT-01-mini,并且提供了支持本地部署的版本。DeepSeek的开源和本地部署特性,为开发者和企业提供了极大的灵活性和成本优势。
二、部署前的准备
硬件环境:
- 基础配置(CPU版本):适合运行较小的模型版本,如1.5B。
- 高级配置(GPU版本):建议使用NVIDIA显卡,至少16GB内存。例如,RTX 3060 8G可以流畅运行8B版本。
软件环境:
- 操作系统:Windows/Mac/Linux。
- Python版本:3.8及以上。
- 安装工具:Git、pip、pytorch等。
那么问题来了,什么情况下,适合把大模型部署在自己电脑上?想用DeepSeek,可以直接在手机的软件商城,下载DeepSeek的手机APP或者用浏览器,搜索DeepSeek的网页版。这样是最简单的,并且背后的AI都是一样的。
本地部署适合以下情况:
- 电脑配置较高,有独立显卡。
- 有私密的数据需要处理,担心泄密。
- 需要和本地工作流结合,处理高频任务或复杂任务。
- 日常使用量大,调用API需要收费,本地部署能省钱。
- 想要在开源模型基础上,做个性化的定制版本。
三、DeepSeek部署安装全流程
第一步,安装Ollama:
- 访问Ollama官网,下载对应版本,首先在浏览器搜索ollama,会出现ollama官网,点击进入。
- 进入官网后,点击中间的Download。
- 根据自己的电脑类型,选择不同版本。
苹果电脑选最左边(蓝色框),Windows系统选最右边(红色框),之后点击下载(绿色框)。
- 下载后,点击安装。最好安装在C盘,安装在其它盘,需要重新配置环境变量。如果桌面出现了ollama图标,说明软件安装成功。图标就是下图的羊驼。
第二步,选择要安装的模型
Ollama 已经支持 deepseek 的全尺寸版本,比如说 1.5b、7b、8b、14b 等,本地建议安装 7b 版本,体积大小最合适。还是在刚刚的ollama官网,点击右上角红框的位置。
在弹出的界面,点击红框的“Models”选项
选择不同参数的模型,这里的数字越大,参数越多,性能越强,1.5b代表模型具备15亿参数。我的电脑16G显存,运行14b参数模型时,需要大约11.5G显存。如果是1.5b版本,2G以下的显存就可以运行,甚至不需要独立显卡,核显就可以。如果是32b参数的,就需要32G显存啦,可以根据自己的电脑性能选择。
第三步,安装模型
同时按下键盘上的Win和R键,弹出如下窗口
在打开的命令行里,输入上面复制的命令“ollama run deepseek-r1:1.5b”。
点击键盘上的“Enter”键,模型会自动下载。
安装完成后,在命令行输入ollama验证是否安装成功
此时大模型安装在你的电脑上,就算断网也可以继续用,也不用担心数据泄露。
第四步,安装管理界面Docker和Open-WebUI
当你关闭电脑后,下次再打开ollama。会发现点击ollama的图标,电脑没反应。因为你点击图标,只是启动了ollama,想要和大模型聊天,还是需要打开命令行。Open-WebUI可以让交互界面更好看,提升用户体验。
步骤 1:安装 Docker
1.下载 Docker Desktop
访问 Docker 官方网站https://www.docker.com/products/docker-desktop/。
点击“Download for Windows”按钮,下载 Docker Desktop 安装程序。
2.安装 Docker Desktop
根据你的电脑系统,下载docker桌面版,双击下载的安装程序,按照提示完成安装。
安装完成后,需要重新启动电脑,才能正常使用docker。重新启动后,如果你的桌面上出现了docker的图标,就表示安装成功了。
3.启用 WSL 2 后端(可选)
- 如果你使用的是 Windows 10 或更高版本,建议启用 WSL 2 后端以提高性能。
- 打开 Docker Desktop,进入“Settings” -> “General”,勾选“Use the WSL 2 based engine”。
- 进入“Resources” -> “WSL Integration”,启用你的 WSL 发行版。
4.验证 Docker 安装
打开命令提示符或 PowerShell,输入以下命令:
docker --version
如果显示 Docker 版本信息,说明安装成功。
步骤 2:安装 Open WebUI
1.拉取Open WebUI镜像
浏览器搜索Open-WebUI,进入官网,并复制红框中的命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
选择项解释:
- -d:后台运行容器。
- -p 3000:8080:将容器的 8080 端口映射到主机的 3000 端口。
- –add-host=host.docker.internal:host-gateway:添加主机映射,使容器能够访问主机服务。
- -v open-webui:/app/backend/data:将 Open WebUI 的数据目录挂载到 Docker 卷 open-webui。
- –name open-webui:为容器命名。
- –restart always:设置容器始终自动重启。
- ghcr.io/open-webui/open-webui:main:使用的 Docker 镜像。
2.验证 Open WebUI 是否运行
- 打开浏览器,访问 http://localhost:3000
- 如果看到 Open WebUI 的登录界面,说明运行成功。
步骤 3:登录 Open WebUI
1、登录注册
双击docker的桌面图标,打开软件。点击红框端口,即可运行Open-WebUI。初次访问时,需要注册一个账号。这些信息会储存在你的电脑里
2、链接到Ollama
- 在 Open WebUI 界面中,进入设置页面。
- 在“Ollama API URL”字段中输入 http://host.docker.internal:11434,然后保存设置。
3、选择DeepSeek模型
- Open WebUI 界面中,找到模型选择菜单。
- 选择 DeepSeek-V3 作为当前使用的模型。
四、使用汇总
1.如何查看我电脑上装了多少个模型
打开命令行,输入:ollama list,红框里就是对应模型
2.如何删除模型
在命令行输入,ollama rm + 模型名称,例如:ollama rm deepseek-r1:1.5b,就会自动删除对应模型。
3.ollama其它功能
命令行输入ollama,展示出ollama的其它功能
4.停止和删除容器
如果需要停止容器,可以使用以下命令:
docker stop open-webui
如果需要删除容器,可以使用以下命令:
docker rm open-webui
来源于