事情是这样的。上个月我电脑硬盘里塞了三个大模型，一个7B的，一个13B的，还有一个被我删掉又重新下载的。删掉又重新下载的那个，是因为我第一次下载的时候手滑选了4-bit量化版本，跑起来倒是快，但回答问题的质量让我怀疑自己是不是装了个智力有缺陷的版本。后来换了8-bit的，速度慢得像我爷爷用智能手机打字，但回答的内容至少像个正常人了。
而我同时在用的云端模型，也就是那些需要联网用的AI，我每个月要交20美金。说实话，付钱的时候我心里是有点不爽的，尤其是有一天网络不好，我对着那个转圈的加载图标等了整整两分钟，最后它给我来了一句“抱歉，我遇到了一个错误，请重试”。那一刻我真想把电脑砸了。
所以问题来了：到底应该用本地模型还是云端模型？这一个月我天天在折腾这个。我的结论可能会让你意外——这不是一个技术问题，这是个生活习惯问题。
先说说本地模型是什么东西。简单来说，就是把AI模型下载到你自己的电脑上，不用联网就能用。听起来很美好对吧？但实际操作起来，就像一个你从网上买的组装家具，说明书是德文的，螺丝少给了两颗，你还得自己想办法。我用的Ollama，一个傻瓜式的本地模型管理工具，命令行里输入一行代码就能下载模型。但这句话里的“傻瓜式”是相对而言的。如果你连命令行是什么都不知道，那还是先别碰这玩意儿。
我下载的第一个模型是Llama 3.1 8B，8B的意思是80亿参数。参数这东西你可以理解成模型的脑细胞数量。脑细胞越多，理论上越聪明，但需要的算力也越大。我的电脑是16GB内存的MacBook Air，没有独立显卡，全靠CPU硬扛。跑8B模型的时候，风扇转得像要起飞，我甚至能感觉到键盘在发热，打字的时候手指有点烫。一个问题问下去，它吭哧吭哧想了半分钟才给回复。半分钟啊，足够我刷两条短视频了。而云端模型，比如Claude或者GPT-4o，基本上3秒钟就回复了，而且内容质量高出一大截。
所以本地模型的好处到底是什么？隐私。当你把一个问题发到云端模型的时候，你的数据实际上被发送到了别人的服务器上。如果你问的是“帮我写一封辞职信”，那还好。但如果你问的是“我最近体检报告里这项指标偏高该怎么办”，或者“我公司的财务报表该怎么分析”，你真的放心把这些数据交给一个美国公司吗？我不放心。所以我的原则是：跟隐私相关的事情，用本地模型。哪怕它慢，哪怕它蠢，但它是属于我自己的。
但本地模型也有一个致命的问题：你没法用那些最新最强的模型。现在最强的开源模型大概是Llama 3.1 405B，4050亿参数。你想在本地跑这个？除非你家里有一台价值十几万的服务器。我有个朋友是做AI开发的，他买了一台四块RTX 4090的机器，跑70B的模型都要小心翼翼，调低精度才能勉强流畅。而云端模型，你只需要一个浏览器，每个月付几百块钱，就能用上世界上最强的AI。这就是取舍。
我最后是怎么做的呢？我搞了一个很分裂的方案。日常的写作、翻译、头脑风暴，我用云端模型，因为快，而且这些内容不涉及隐私。但涉及到我个人的日记、情绪问题、或者工作上的一些机密文档，我就切到本地模型。本地模型我选了Qwen 2.5 7B，阿里的一个开源模型，中文能力出乎意料地好。我用了Ollama跑，命令行是`ollama run qwen2.5:7b`。第一次跑的时候报了个错，说“error: model requires more memory than available”，意思是你内存不够。我查了半天，发现需要在运行的时候加一个参数：`OLLAMA_KEEP_ALIVE=0 ollama run qwen2.5:7b`，这样它用完就释放内存，虽然慢一点但不至于卡死。
还有一个坑：本地模型的回答质量参差不齐。有一次我问它“怎么做好一道红烧肉”，它给了我一个步骤，其中有一条是“加入200克酱油”。200克酱油，那个量做出来的不是红烧肉，是酱油腌肉。我老婆吃了之后问我是不是想毒死她。所以说，本地模型目前的智商大概相当于一个刚学会查资料但不会判断的实习生。你不能完全信任它，需要自己再验证一遍。
云端模型也有坑。我遇到过云端模型一本正经地给我编造引用文献，那个作者名字甚至是我编出来的假名，它都能引用得头头是道。所以不管用哪个模型，你都得保持警惕。
最后我想说的是，别被那些科技博主忽悠了。什么“本地模型是未来”，什么“云端模型才是王道”，都不对。这取决于你的使用场景。如果你只是每天用AI写写小红书文案、改改邮件，那云端模型足够了，别折腾自己。但如果你是一个对隐私敏感的人，或者你像我一样享受那种“我的东西都在我电脑里”的感觉，那花点时间配置一个本地模型，值得。我花了一个周末才搞定所有配置，中间还因为装错依赖库重装了两次系统。但当我第一次断网之后还能让AI帮我把一段文字翻译成英文的时候，那种成就感，怎么说呢，就好像自己徒手造了一台收音机。
不过说实话，如果你让我重新选择一次，我可能会直接续费云端模型，然后买个外接硬盘把隐私文件加密存起来。省事。毕竟我的时间也挺值钱的。