在自己电脑上跑大模型的几点体会

这段时间试着在自己的电脑上跑开源大模型，记几点体会。

适合的场景

• 隐私敏感的文本：笔记、日记、内部文档，不想上传到云端
• 离线可用：没有网络时也能查资料、改代码
• 反复调用的小任务：批量改写、分类、提取关键词，不用担心按次计费

不太适合的场景

显存有限时只能跑量化后的中小模型，长文推理和复杂代码任务上，和顶级云端模型还有明显差距。追求效果时，云端模型依然更省心。

一个简单的判断方法

问题	倾向
数据能不能出本机？	不能 → 本地
对效果要求极高？	是 → 云端
调用量很大、任务很简单？	是 → 本地

工具会越来越好用，但“用什么解决什么问题”这个判断，还是得自己做。