DeepSeek本地部署
今天来尝试本地部署一下DeepSeek,看看效果如何。
下载Ollama
Ollama是一个轻量级的AI模型运行平台,支持多种AI模型,包括LLM、Embedding、Chatbot等。
下载地址:https://ollama.com/download/windows
以管理员身份运行CMD,并定位到OllamaSetup.exe所在的目录,执行安装命令:
1 | OllamaSetup.exe /DIR="E:\tools\Ollama" |
如下图所示
注意:安装完成后,Ollama默认为打开状态,此时我们先退出Ollama(鼠标右键点击任务栏的Ollama图标然后选择退出即可)。
上述步骤完成后,我们可以打开CMD,输入ollama -v命令,如果出现如下图所示的内容就代表Ollama安装成功了:
修改大模型存储位置
打开环境变量,然后在用户变量中点击新建按钮,变量名为OLLAMA_MODELS,变量值为D:_Program_Ollama,其中的变量值就是大模型下载存储的目录位置,最后点击确定即可
下载DeepSeek
打开Ollama官网,点击顶部的Models链接,找到deepseek-r1模型,点击deepseek-r1链接进去,此时我们会看到下拉框中有各个版本的大模型
这里选择了7b,复制下载命令ollama run deepseek-r1:7b
,然后打开CMD,执行下载命令:
1 | ollama run deepseek-r1:7b |
如下图所示:
最终效果如下图所示: