要搭建独立的 DeepSeek,可以按照以下步骤进行:
一、准备工作
硬件要求:
基础级:16GB 内存 + RTX 4060 显卡,可流畅运行 7B 参数模型。
旗舰级:32GB 内存 + RTX 4090 显卡,能够驾驭 14B 模型。
高端级:64GB 内存 + RTX 5090 D(32GB 显存),32B 模型也能上。
软件准备:
二、安装 Ollama
访问官网:前往 Ollama 官网 下载适合你操作系统的版本。
安装程序:双击下载的安装包,按照提示完成安装。
验证安装:安装完成后,在命令行中输入 ollama
,如果出现提示信息,则说明安装成功。
三、安装 DeepSeek 模型
选择模型:根据你的硬件配置,选择合适的 DeepSeek 模型版本。例如,内存较低的可选择 1.5b 版本,内存较高的可选择 7b 或更高版本。
下载模型:在 Ollama 中找到 DeepSeek 模型,选择你想要安装的版本,然后复制相关的命令行。
运行命令行:在命令行窗口中粘贴并运行复制的命令行,模型就会开始下载。下载完成后,Ollama 会自动激活模型。
四、配置环境变量(可选)
打开环境变量设置:按下 Win + R
键,打开“运行”对话框,输入 sysdm.cpl
,调出“系统属性”对话框。
新建环境变量:切换到“高级”选项卡,点击“环境变量”按钮。点击右下角的“新建”按钮,新建一个名为 OLLAMA_MODELS
的环境变量,其值为模型的存放路径。
重启 Ollama:完成配置后,需重启 Ollama 才能使配置生效。
五、使用可视化界面(可选)
下载并安装:如果你觉得命令行界面不够美观或操作不便,可以下载并安装可视化界面工具,如 Chatbox AI。
配置 Ollama:在可视化界面中,选择使用 Ollama API,并进行相关配置。
开始对话:配置完成后,你就可以在可视化界面中与 DeepSeek 模型进行对话了。
六、注意事项
模型大小与性能:模型参数越多,性能越强,但所需的硬件配置也越高。请根据你的实际需求选择合适的模型版本。
存储空间:确保你的电脑有足够的存储空间来存放模型和运行过程中产生的临时文件。
网络连接:在下载模型和运行过程中,需要保持稳定的网络连接。
七、其他方法
除了使用 Ollama 外,你还可以使用其他工具或平台来搭建独立的 DeepSeek。例如,可以使用 LM Studio 来下载和管理 DeepSeek 模型,或者使用聪明灵犀软件来一键本地部署 DeepSeek。