昨天心血来潮，决定在自己的笔记本上跑一下本地大模型。之前一直用云端API，总觉得差点意思，像是隔着一层纱在调戏AI。正好手头有个4090的笔记本——对，就是那个发热量堪比暖炉的玩意儿——想着应该能扛住吧。
我选了Qwen2.5-7B-Instruct的GGUF版本，用Ollama来跑。下载模型倒是简单，一句`ollama pull qwen2.5:7b-instruct-q4_K_M`就搞定，文件大小大概4.6GB。跑起来那一刻，风扇直接起飞，那声音像是在拆家。我摸了摸笔记本C面，好家伙，烫得能煎鸡蛋。
第一轮对话，我问了个简单问题：”用Python写一个快排”。模型反应倒是快，大概两三秒就开始输出了，但是——打字速度明显比云端慢，一个字一个字往外蹦。我数了一下，大概每秒输出20个token左右。同样是7B模型，云端API像连珠炮，本地就像老式打字机。更崩溃的是，写到一半，我听到风扇声突然停了，然后模型直接卡住不输出了。一看Ollama的日志，好家伙，显存爆了。
我的4090是16GB显存，按理说7B模型的Q4量化版应该能塞下。后来查了一下，Ollama默认会把整个模型加载到显存，但上下文窗口开太大也会吃显存。我那个对话窗口之前试了几个长问题，上下文已经撑到4096个token了。解决方法也简单，`ollama run qwen2.5:7b-instruct-q4_K_M –num-ctx 2048`，把上下文砍到2048，总算能稳定跑了。
但速度依然是个硬伤。同样的模型，在云端用Together.ai的API，每秒能吐60个token，我的本地只有20。更别说那些大模型了，我试着跑了一次Llama3-70B，结果Ollama直接报错说显存不足，连加载都加载不进去。后来查资料才知道，70B模型即使Q4量化也要35GB显存，我那16GB就是个弟弟。
不过本地跑也有爽的时候。有一次我写代码，需要反复调一个函数的逻辑，每次都得问AI改一下。云端API每次都要等网络传输，来回折腾，一个简单的修改可能要等十几秒。本地模型虽然输出慢，但修改请求几乎是瞬发的，改个prompt重新问，模型立马就开始重新输出。那种跟AI”面对面”对话的感觉，比云端那种”发消息等回复”的模式爽多了。
还有隐私问题。上周我用云端API问了一个关于公司内部代码的问题，虽然知道API提供商说不会记录数据，但心里总有点膈应。本地模型就没这个顾虑，我把整个代码库都喂给AI分析，随便问，反正数据出不了我的电脑。
但说实话，本地跑大模型最大的问题还是门槛。我折腾了整整一个下午才把环境配好。先是Ollama装好，然后发现CPU推理慢得离谱，必须用GPU。又去装CUDA toolkit，版本对不上，报错说”CUDA driver version is insufficient”。查了半天，发现是我笔记本的显卡驱动太老，又去NVIDIA官网下载最新驱动，重启两次才搞定。中间还遇到Ollama的模型下载断断续续的问题，可能是网络不稳定，用`ollama pull`经常卡在50%不动，最后换用镜像站才下完。
相比之下，云端API真的是开箱即用。注册个账号，充十块钱，复制一行代码就能开始调。不用管CUDA版本，不用管显存够不够，不用管风扇会不会烧坏。甚至有些平台还提供免费额度，比如Google Colab的T4 GPU，虽然慢了点，但胜在免费。
我现在觉得，本地跑模型和云端API根本是两个物种。本地适合做两件事：一是调优和实验，反复修改prompt，看模型反应；二是处理敏感数据，比如分析病历、代码审计这些。云端API则适合生产环境，需要稳定输出、高并发、快速响应的时候，别跟自己过不去。
哦对了，最后说个笑话。我本地跑模型跑了三个小时，笔记本电量从80%掉到15%，风扇一直狂转。合上盖子的时候，笔记本C面热得我差点以为自己摸了个暖宝宝。第二天醒来，发现笔记本电池健康度从95%降到了94%。所以算下来，本地跑一次大模型，相当于消耗了1%的电池寿命。值不值？我觉得挺值的，至少我以后再也不会觉得云端API贵了。