元峰AI笔记 · AI大模型

求求了,不要再本地部署deepseek了

今天不聊技术,聊点有意思的事情。

求求了,不要再本地部署deepseek了

今天不聊技术,聊点有意思的事情。

前两天做了一个视频**《一分钟教你本地化部署deepseek》**,播放量突破44万,转发1.5万。但是,说实话,发完我就后悔了。

图片展示的是一个视频封面,标题为“1分钟教你在电脑安装超火的AI模型DeepSeek R1”,下方有“deepseek 探索未至之境”字样。画面中人物穿着白色上衣,背景为蓝色灯光效果。视频简介部分显示“一分钟学会把deepseek部署到本地电脑上”,并标注“作者提示: 内容为AI技术制作 虚构内容请谨慎甄别”。该图片位于文档中对视频《一分钟教你本地化部署deepseek》的介绍部分,直观呈现了视频主题及内容。

为啥呢?我先放几张评论区截图你就明白了。

“我想知道为什么要用英文”

图片展示的是一个视频评论区截图,评论主题为“deepseek什么意思中文”。评论区中,用户朝敏提问“我想知道为什么要用英文”,Will Wang回应“你看不懂?”;李强认为编程语言用数字更好;zhangsheng33认为英文精简且开源可改拼音,但中文用起来不好用;苏伟3911指出电脑系统以英文代码做,国内做以汉字代码为基础的系统再广泛应用就会有汉语版;Mr. Evolution认为这东西本来是西方的。这些评论反映了用户对deepseek使用英文的疑问及观点。

中国人研发的为什么没有中文版?

图片展示的是一个手机端的评论区界面,时间显示为7:08 。上方截图中“deepseek_1”的相关内容被红框圈出,评论数达225条。评论围绕“deepseek”展开,有人询问其含义,有人质疑中国人研发却无中文版,还有人就编程语言是否应有汉化、Windows语言等问题进行讨论和回复。这张图片与上文提到的放评论区截图相呼应,直观呈现了网友对本地化部署deepseek的相关疑问与讨论。

命令终端也不知道从哪打开。

图片展示的是一个视频评论区截图,评论主题为“deepseek什么意思中文”。评论区显示225条评论,其中林森智力运动...、沐雨而眠、张晓静等用户提问关于deepseek中文意思、命令行窗口打开方式等问题,如“我想知道为什么要用英文”“你们mac应该叫终端”“Win7可以安装吗”等。该图片与上文提到的视频《一分钟教你本地化部署deepseek》播放量突破44万,但因评论区问题引发后悔的情绪相关,直观呈现了评论区的互动情况。

GitHub无法访问,卡在了第一步。。。

图片展示了一段聊天记录。用户询问为何下载不了,对方回复可直接访问https://chat.deepseek.com/使用。用户又问是否需要本地部署,对方表示不用,部署麻烦。用户担心本地部署会更私密,对方建议直接使用网页版。用户最后表示这种问题太难了。此聊天记录与文档中关于deepseek本地部署难用的问题相关,反映了用户对deepseek本地部署的困惑及对在线使用更方便的期望。

“在线的和APP早就用上了。你这个那么慢,还是别推荐了,出来害人啊!”

你连最基本的本地部署原理都不知道,就说我出来害人。。。当时看到之后真的挺无语的。

图片展示了一段聊天记录。左侧显示“太慢了,这个”,右侧回复“看下这个文章”,并附有紫色头像。下方回复“那你就用在线的”,同样有紫色头像。最后,左侧再次留言“在线的和APP早就用上了。你这个那么慢,还是别推荐了,出来害人啊”,并有白色头像。该图片与上下文讨论的deepseek本地部署问题相关,反映了对本地部署速度慢的不满及对在线版本的推荐。

其实,如果你是对电脑不熟悉的伙伴,连这些基础问题都搞不定。就不要跟风去本地部署了。老老实实用人家官方版本就可以了。

那么为什么有很多人要舍近求远想做本地部署呢?

我觉得有2个原因,第一是因为这玩意太火了,不管是短视频还是公众号都是deepseek,其次,人云亦云,觉得免费的东西,不装白不装呀。

但是,我们下面看看,安装这玩意真免费吗?

第一步,我们安装模型都是在ollama 官网下载的,第一个,下载模型到自己的电脑,得占用内存吧!

图片展示了ollama官网上的deepseek - r1模型页面。页面上方介绍该模型是基于Llama和Qwen的六款密集模型,性能与OpenAI - 01相当。下方模型版本列表中,7b、8b、14b、32b、70b、671b版本被红色框突出显示,其中7b版本占用内存4.7GB,8b版本占用4.9GB,14b版本占用9GB。右侧有“ollama run deepseek - r1”命令及对应内存使用情况。该图与上下文关系紧密,直观呈现了模型版本及内存占用情况,辅助说明安装模型时占用内存的问题。

7B版本的占用内容得4.7GB,8B版本的占用内存4.9GB,14B的占用9GB。

图片展示了Windows文件资源管理器界面,显示了F盘下的“ollama”文件夹内容。其中“models”文件夹被选中,其属性窗口显示创建日期为2025/2/2 12:48,大小为18.3 GB,文件夹包含“blobs”和“manifests”两个内容。该图片与文档中“第一步,我们安装模型都是在ollama官网下载的,下载模型到自己的电脑,得占用内存吧!”的内容相关,直观呈现了下载的模型文件占用的内存大小。

我自己下载了8B和14B的两个版本,占用了我18个G的内存。

第二步,就算模型下载好了,使用过程还得有个英伟达显卡。

图片展示了不同模型规模与显存需求的关系。模型大小从1.5B到671B不等,对应显存需求(单GPU)从8GB - 16GB到TB级,以及适用的GPU型号。如1.5B模型需RTX 3060或3080,7B模型需RTX 3090或A6000等。该图与上下文紧密相关,直观呈现了模型规模与显存需求、适用GPU型号的对应关系,为后续安装模型时的硬件选择提供参考。

你的显卡没有 3060 显卡根本都法流畅的跑起来。所以这个春节期间,有人为了部署个deepseek,估计去买显卡的都不少。

所以,所谓的“免费”本地部署,真的免费吗?我们可以思考一下。

还有更重要的一点,这个ollama网站的deepseek真的是官网的deepseek吗?下面这段英文,我估计90%的人,就算部署了都没有完整看过它的意思。

图片展示了DeepSeek团队通过蒸馏大模型推理能力至小模型的成果。其说明大模型推理模式可被蒸馏至小模型,蒸馏模型在基准测试中表现优异。图片列出了使用DeepSeek-R1生成推理数据微调得到的模型,包括DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B等,每个模型后都有对应的“ollama run deepseek-r1:”指令。该图片与上下文紧密相关,直观呈现了上下文提到的蒸馏模型相关内容。

我用deepseek翻译了一下,简单来讲就是,这些模型都是**蒸馏模型,是使用 DeepSeek-R1 生成的推理数据进行微调得到的模型。**和官网还是有点不一样的。

蒸馏模型 DeepSeek 团队验证了将大模型推理能力蒸馏至小模型的可行性,通过该方法获得的小模型推理能力显著优于直接通过强化学习训练得到的小模型。 以下是基于多个研究社区广泛使用的稠密模型,使用 DeepSeek-R1 生成的推理数据进行微调得到的模型。评估结果表明,经过蒸馏的小型稠密模型在各项基准测试中表现优异。 许可协议 模型权重遵循 MIT 协议授权。DeepSeek-R1 系列支持商业用途,允许任何修改和衍生作品(包括但不限于通过蒸馏训练其他大模型)。 需注意: Qwen 系列蒸馏模型基于 Qwen-2.5 系列开发,原始模型遵循 Apache 2.0 协议授权,现使用 DeepSeek-R1 生成的 80 万样本进行微调。 Llama 8B 蒸馏模型基于 Llama3.1-8B-Base 开发,原始模型遵循 llama3.1 协议授权。 Llama 70B 蒸馏模型基于 Llama3.3-70B-Instruct 开发,原始模型遵循 llama3.3 协议授权。

既然都聊到这里了,你还想本地部署我也不拦着。

正所谓,没有这个金刚钻就不要揽活这个瓷器活。如果你是刚入门的小白,就直接用官网版本就可以了,https://chat.deepseek.com/。

图片展示了DeepSeek的界面。上方显示“我是DeepSeek,很高兴见到你!”,并说明其可进行对话、读文、写各种数据内容。下方有“DeepSeek 进阶指南”“知识搜索”“知识问答”三个选项卡,以及“我有疑问,来问我”“我有数据,来问我”输入框,右侧有麦克风图标。界面左下角有“下载App”和“个人中心”按钮。该图与文档中介绍DeepSeek使用的内容相关,直观呈现了其使用界面。

图片展示的是秘塔AI搜索界面中Deepseek R1模型的对话结果。左侧显示秘塔AI的头像,右侧对话框内显示“已深度思考(用时0秒)”,下方文字提示“服务器繁忙,请稍后再试。”该图片与文档中提到的“如果遇到官网服务器繁忙,不用慌,可以使用秘塔AI搜索,里面也已经内置了Deepseek R1模型”内容相关,直观呈现了服务器繁忙时的提示情况。

如果遇到官网服务器繁忙,不用慌,可以使用秘塔AI搜索,里面也已经内置了Deepseek R1 模型。

秘塔AI搜索官网:https://metaso.cn/

提出问题:deepseek中有几个e?

图片展示的是秘塔AI搜索界面。上方有“秘塔AI接入满血版DeepSeek R1推理模型”的提示。中间区域显示搜索框内输入了“deepseek中有几个e”,并有“全网”和“长图参考R1”两个选项。下方有“简洁”“深入”“研究”三个按钮。界面左侧有多个图标,右侧有“+”号图标。该图片与上文提到的使用秘塔AI搜索内置DeepSeek R1模型的内容相关,展示了使用秘塔AI搜索进行查询的界面情况。

深度思考过程。

图片展示的是在deepseek中搜索“deepseek中有几个e”的页面。页面上方为搜索框及搜索按钮,下方是搜索结果。左侧结果中,详细阐述了通过逐个字母检查来确定单词“deepseek”中“e”的数量的过程,还提及了相关的语言模型等内容。右侧结果则是简单回复了“deepseek中有几个e”这一问题。该图片与文档上下文相关,用于展示使用deepseek进行搜索的实际示例,以说明deepseek的使用情况。

最终给出答案。

图片展示的是秘塔AI搜索界面,用户提问“deepseek中有几个字”,下方显示搜索结果。结果中,DeepSeek LLM7C Chat Stage1模型的准确率最高,为48.2%。还列出了一些与DeepSeek相关的模型及准确率数据。右侧有“分享”“研究”“退出”等操作选项。该图片与文档中关于不再本地部署deepseek,优先使用deepseek官网、秘塔AI搜索等内容相关,直观呈现了秘塔AI搜索的使用情况。

最后,再啰嗦一遍,不要再本地部署了。第一优先级是使用deepseek官网,第二优先级是秘塔AI搜索,第三优先级是回到第一条。

最后我做了一个deepseek的免费星球,在这里了解deepseek的最新进展和使用分享,另外置顶帖为大家准备了一份资料《DeepSeek 15天指导手册--从入门到精通》。

图片展示的是元峰发布的主题内容,标题为“DeepSeek 15天指导手册——从入门到精通”,并附有网址。内容提到三分钟创建AI伙伴的步骤详解,还提及来自DeepSeek研习社,元峰创建,2600+人都在这里交流。图片下方有一个二维码,提示长按或保存二维码查看原文。该图片与文档中推荐的《DeepSeek 15天指导手册--从入门到精通》资料相关,是文档中介绍的免费星球中置顶帖内容。

因为免费,没有任何服务,感兴趣的扫码加入即可。