全球主机交流论坛备用站

 找回密码
 立即注册

QQ登录

只需一步,快速开始

全球云38元起免备案V2EX搬瓦工VPS
SEO查询超级PING网站测速
Virmach特价鸡乌云漏洞吾爱破解
楼主: youshao

龙虾怎么配本地模型跑

[复制链接]

7

主题

10

回帖

47

积分

新手上路

Rank: 1

积分
47
发表于 3 天前 | 显示全部楼层
20230417
Musk 发表于 2026-3-10 10:46
内存,存贮,显卡都有一定的要求

32g + 4060能跑起来不
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

112

主题

5161

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

积分
12268
发表于 3 天前 | 显示全部楼层
youshao 发表于 2026-3-10 10:45
据说一个月要烧1-2K,所以看看本地模型是否靠谱,也不干什么特别重要的东西么。 ...

昨天还在群里问同事了。  他说一次 0.25刀。 我是玩不起。
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

1

主题

51

回帖

189

积分

注册会员

Rank: 2

积分
189
发表于 3 天前 | 显示全部楼层
装一个ollama 本地跑模型一般都用这个 接入openclaw官方文档很完善 16G显存可以跑Qwen3.5 9B 上月刚发布的目前最强的小模型
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

1

主题

3092

回帖

6489

积分

论坛元老

Rank: 8Rank: 8

积分
6489
发表于 3 天前 | 显示全部楼层
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

619

主题

2万

回帖

4万

积分

论坛元老

Rank: 8Rank: 8

积分
46399
发表于 3 天前 | 显示全部楼层
你这个本地配置连给龙虾提鞋都不配
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

117

主题

300

回帖

1235

积分

金牌会员

Rank: 6Rank: 6

积分
1235
发表于 3 天前 | 显示全部楼层
这么烧钱
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

0

主题

815

回帖

2554

积分

金牌会员

Rank: 6Rank: 6

积分
2554
发表于 3 天前 | 显示全部楼层
智能诈骗
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

35

主题

307

回帖

1095

积分

金牌会员

Rank: 6Rank: 6

积分
1095
发表于 3 天前 | 显示全部楼层
ollama 不过龙虾上下文需要64k,需要占用好几G的现存,所以能跑的模型就很小
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

0

主题

2

回帖

8

积分

新手上路

Rank: 1

积分
8
发表于 3 天前 | 显示全部楼层
个人认为龙虾还得再进化下,否则token一般人玩不起,目前可以白票gpt给龙虾用。 自己搭建也挺耗电,玩玩可以。另外有错删文件,清空磁盘的风险,mjj需要注意我3090显卡 双e52666洋垃圾 128g内存 ollama搭建了qwen3.5 27b,小龙虾本地用,回答一个“介绍一下你自己”,用了大概6分多钟。
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

0

主题

2776

回帖

5866

积分

论坛元老

Rank: 8Rank: 8

积分
5866
发表于 3 天前 | 显示全部楼层
烧钱
MJJ,你的签名掉了~~~
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

展开

QQ|Archiver|手机版|小黑屋|全球主机交流论坛备用站

GMT+8, 2026-3-13 09:18 , Processed in 0.083361 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表