22331144 大会员 成员 注册 2024-03-10 消息 78 金粒 金粒1,678粒 钻石 钻石0颗 嗨币 嗨币0元 星期五,22:06 安徽 滁州市 用户 主题 作者 #1 您尚未登录,立即登录享受更好的浏览体验! 您需要 登录 才可以回复帖子,没有账号?立即注册 作为一名常年折腾本地部署的 AI 玩家,今天要给大家解锁一个硬核技能:如何在个人电脑上搭建国产大模型新秀 —— 深度求索(Deepseek)的私服版。无需高端显卡,普通游戏本也能跑起来,文末还附赠性能调优秘籍! 部署前的战前准备,工欲善其事必先利其器,我们先来清点装备:硬件底线配置 CPU:i5 十代以上(AMD 锐龙 5 同级别) 内存:最低 16GB(32GB 丝滑体验) 显卡:RTX 3060 12GB 显存起步(实测 7B 模型流畅推理) 硬盘:至少 50GB 固态空间(模型文件比《赛博朋克 2077》还大) 一、Windows 本地部署1.1 新建环境变量 1.2进入ollama官网下载Win安装包: https://pan.baidu.com/s/11lmCArJ6WDwn1yRYyJRVuQ?pwd=KAKA 提取码: KAKA Mac安装包: https://pan.baidu.com/s/18rE6XDJs8IjFcK_f3grGOQ?pwd=KAKA 提取码: KAKA 1.3 下载语言模型**模型地址:**https://ollama.com/library/deepseek-r1 🔸 deepseek-rl系列: 👉6B:轻量级,适合文案生成 👉13B:平衡性能与速度 👉70B:高精度,需32GB以上内存 🔸 量化版本:带 -q4后缀为4bit压缩版,体积减半但精度略降 🔸 模型下载指令大全 👉 基础版:ollama run deepseek-rl:7b 👉 量化版:ollama run deepseek-rl:7b-q4 👉 指定版本:ollama run deepseek-rl:7b-text-20240510 1.4选择deepseek-r1模型版本下载至本地 1.5 选择本地文件夹CMD后粘贴刚才复制的命令 1.6开始下载 1.7 下载完成并测试 二、火山在线使用 账号登录-火山引擎 欢迎登录火山引擎,火山引擎是字节跳动旗下的云服务平台。 console.volcengine.com ✅ 聊天模式:支持多轮对话、角色预设(如“小红书博主”) ✅ 文件解析:上传PDF/TXT → 自动生成摘要 ✅ API测试台:在线调试参数,实时查看响应 测试:写一首关于春天的诗 三、API本地调用首先登录Deepseek开放平台获取API_Key DeepSeek Platform Join DeepSeek API platform to access our AI models, developer resources and API documentation. platform.deepseek.com 步骤1:登录 https://platform.deepseek.com/api_keys→ 左下角「创建API密钥」 步骤2:填写名称 → 复制Key(⚠️仅显示一次!) 然后下载Chatbox,根据自己的电脑版本选择即可,也可以使用网页版 Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载 Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。 chatboxai.app 下载完成后点击设置 选择「DeepSeek API」, 测试:写一首关于春天的诗 开 红包消息 还可以输入20字数。 领取红包用户
作为一名常年折腾本地部署的 AI 玩家,今天要给大家解锁一个硬核技能:如何在个人电脑上搭建国产大模型新秀 —— 深度求索(Deepseek)的私服版。无需高端显卡,普通游戏本也能跑起来,文末还附赠性能调优秘籍! 部署前的战前准备,工欲善其事必先利其器,我们先来清点装备:硬件底线配置 CPU:i5 十代以上(AMD 锐龙 5 同级别) 内存:最低 16GB(32GB 丝滑体验) 显卡:RTX 3060 12GB 显存起步(实测 7B 模型流畅推理) 硬盘:至少 50GB 固态空间(模型文件比《赛博朋克 2077》还大) 一、Windows 本地部署1.1 新建环境变量 1.2进入ollama官网下载Win安装包: https://pan.baidu.com/s/11lmCArJ6WDwn1yRYyJRVuQ?pwd=KAKA 提取码: KAKA Mac安装包: https://pan.baidu.com/s/18rE6XDJs8IjFcK_f3grGOQ?pwd=KAKA 提取码: KAKA 1.3 下载语言模型**模型地址:**https://ollama.com/library/deepseek-r1 🔸 deepseek-rl系列: 👉6B:轻量级,适合文案生成 👉13B:平衡性能与速度 👉70B:高精度,需32GB以上内存 🔸 量化版本:带 -q4后缀为4bit压缩版,体积减半但精度略降 🔸 模型下载指令大全 👉 基础版:ollama run deepseek-rl:7b 👉 量化版:ollama run deepseek-rl:7b-q4 👉 指定版本:ollama run deepseek-rl:7b-text-20240510 1.4选择deepseek-r1模型版本下载至本地 1.5 选择本地文件夹CMD后粘贴刚才复制的命令 1.6开始下载 1.7 下载完成并测试 二、火山在线使用 账号登录-火山引擎 欢迎登录火山引擎,火山引擎是字节跳动旗下的云服务平台。 console.volcengine.com ✅ 聊天模式:支持多轮对话、角色预设(如“小红书博主”) ✅ 文件解析:上传PDF/TXT → 自动生成摘要 ✅ API测试台:在线调试参数,实时查看响应 测试:写一首关于春天的诗 三、API本地调用首先登录Deepseek开放平台获取API_Key DeepSeek Platform Join DeepSeek API platform to access our AI models, developer resources and API documentation. platform.deepseek.com 步骤1:登录 https://platform.deepseek.com/api_keys→ 左下角「创建API密钥」 步骤2:填写名称 → 复制Key(⚠️仅显示一次!) 然后下载Chatbox,根据自己的电脑版本选择即可,也可以使用网页版 Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载 Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。 chatboxai.app 下载完成后点击设置 选择「DeepSeek API」, 测试:写一首关于春天的诗