Clost 发表于 2025-2-2 05:44:44

deepseek模型能在vps上跑吗

就是deepseekchat模型能用cpu跑吗如果vps不行 杜甫需要至少什么配置才行？有没有试过的大佬

ttyhtg 发表于 2025-2-2 08:43:30

看配置，可以试试1.5B的，我的普通笔记本配置问了ChatGPT说最多能跑7B的，我试了试，勉强能跑14B的呢

Clost 发表于 2025-2-2 07:15:17

ding

mylove1 发表于 2025-2-2 07:20:04

有4090 gpu的vps勉强一试<br />
<br />

Fightlee 发表于 2025-2-2 07:56:38

蒸馏过的<br />
原版671b<br />
你4090最多就32b

友谊地久天长 发表于 2025-2-2 08:47:33

云服务器差不多吧.谷歌 甲骨文 亚马逊的. GPU估计价格贵死. <br />
自己部署没任何意义. 部署完的跟他们官网的问答结果也不一样. 自己部署的一般都比较笨.

Keensword 发表于 2025-2-2 09:48:35

普通的肯定不行

oimo 发表于 2025-2-2 10:21:32

LLM很久以前就能跑在树莓派上了，但是都是很小的模型或者经过量化的模型，跟L没什么关系了

louiejordan 发表于 2025-2-2 10:25:22

<font size="3">能，但是没有必要</font>

oimo 发表于 2025-2-2 10:42:35

家里电脑配置还过得去的，可以跑个14B-32B，然后提供接口，通过FRP映射到VPS上，这样就可以在外面用了，不过没什么必要，完整版的API以后就是白菜价，正常人又不会高频使用的，自建意义不大不太清楚, 但就算能跑的话, 也没必要啊. VPS 那点算力, 对于跑大模型来说, 聊胜于无? 你倒是可以充点钱在 Colab 里先在 Colab 里试试, Colab 里的机器是带 GPU 的, 而且型号不错. <br />
<br />
----------------------------------------------------------------<br />
<br />
小尾巴~~~~~
页: [1]
查看完整版本: deepseek模型能在vps上跑吗