cpa 发表于 2025-2-4 11:36:54

deepseek r1部署需要什么配置

有没有教程，官网都没看到教程。

idcidcddd2024 发表于 2025-2-4 11:42:44

键盘的g坏了还是o坏了还是l坏了还是e坏了还是y坏了还是u坏了还是t坏了还是b坏了

BwGoat 发表于 2025-2-4 11:39:46

但凡去百度bing搜一下就一大堆教程。模型有很多种，都是蒸馏过的。原版1个多t。

qqlikeho 发表于 2025-2-4 11:51:39

<i class="pstatus"> 本帖最后由 qqlikeho 于 2025-2-4 11:57 编辑 </i><br />
<br />
完整的761b有400g，需要800-1T左右的混合内存。<br />
目前有人用amd搞定大概4token/s，成本8000u，可以满足个人需求。不过随着上下文的变多会降速。<br />
可以在观望下amd那边，统一内存可以在未来低成本的实现更好的xiaoneng

四叶草 发表于 2025-2-4 12:28:49

网上租H100<br />
671b完整模型<br />
半个小时就部署好了

老狼 发表于 2025-2-4 13:09:12

<i class="pstatus"> 本帖最后由 老狼 于 2025-2-4 13:15 编辑 </i><br />
<br />
8b本地4G显存部署成功<br />
<img id="aimg_K7nfz" onclick="zoom(this, this.src, 0, 0, 0)" class="zoom" src="https://img.qiju.cc/images/2025/02/04/4.png" onmouseover="img_onmouseoverfunc(this)" onload="thumbImg(this)" border="0" alt="" />

iiii.im 发表于 2025-2-4 13:10:52

独服可以部署8b，很慢而且也很傻<br />
<br />
14b也可以但是太慢了

hbsx 发表于 2025-2-5 10:20:30

最低也得3060的显卡吧，再低没啥意思了

xocus 发表于 2025-2-5 10:34:43

7B的上下文乱来
页: [1]
查看完整版本: deepseek r1部署需要什么配置