akatom 发表于 2025-2-7 13:06:04

公司想部署一个私有化的deepseek 可以用6000ada的显卡么

如题，请问大家 部署depseek都需要啥配置呢？

尼古丁真 发表于 2025-2-7 13:35:07

<i class="pstatus"> 本帖最后由 尼古丁真 于 2025-2-7 13:36 编辑 </i><br />
<br />
int4量化跑671b大概要350G 内存堆到350G容易 显存堆到350G有点难<br />
int4精度损失有点高 int8要700G应该能跑<br />
h100 80g显存 <br />
也有便宜的方案 2080ti魔改22G显存 插16张

奧巴马 发表于 2025-2-7 13:08:49

CPU都可以，就是慢，自己部署没意思。和官网不一样的

无神通 发表于 2025-2-7 13:20:54

什么配置都可以，速度快慢的区别

方块李 发表于 2025-2-7 13:22:24

建议20块H100 直接上671B

dragonfsky 发表于 2025-2-7 13:22:32

可以啊 但是满血要几十张吧

cooe 发表于 2025-2-7 13:43:00

前几天部署了一个8b的，速度还行，但是不够聪明，还是官网用吧，已充值了几十块！

丹帕 发表于 2025-2-7 13:45:34

1688现在不是很多跳水卡，来个满血671b

我是老王 发表于 2025-2-7 14:17:34

公司跑 32B 就足够了 你也可以前端弄个转发接各大API

小猪佩奇小嵐 发表于 2025-2-7 14:27:08

不一样，没什么意义那好用嗎?
页: [1] 2
查看完整版本: 公司想部署一个私有化的deepseek 可以用6000ada的显卡么