事情是这样的。上午在修一个bug,修得我脑壳疼,就想摸个鱼换换脑子。正好看到群里有人吹某款AI写中文文章有多牛逼,我就来劲了。我寻思你不是牛逼吗,那咱们就拉出来溜溜。
我手头常用的几个工具:GPT-4o、Claude 3.5 Sonnet、Kimi、还有最近火得不行的DeepSeek V3。测试方法很简单——让它们写同一段内容,主题是“解释一下为什么程序员总喜欢在黑框框里写代码”。这个题目够日常了吧,而且带点调侃,考验的是中文语感和幽默感。
先说GPT-4o。我用的版本是2024年11月的那个快照,API调用的,temperature设0.7,没加任何system prompt。它写出来的东西怎么说呢…很标准,非常标准,标准到像高考作文。段落结构工整,用词规范,什么“命令行界面作为程序员与计算机交互的核心通道”这种句子都能给你整出来。但是你读完之后吧,感觉像在读教科书,一点人味儿都没有。我让它加点调侃,它给我加了句“当然,图形界面也有其优势”。这算哪门子调侃啊,这不就是端水吗。
然后测Claude 3.5 Sonnet。我用的网页版,直接粘贴任务的。这家伙写中文明显比GPT流畅,起码知道用“说白了”、“你懂的”这种口语化表达。它写了一句“在黑框框里打字的时候,你会觉得自己特别像电影里的黑客”,这个感觉就对了。但是问题也有——它太啰嗦了。写个500字的小短文,它给你整出1200字来,而且中间有三段明显是在车轱辘话来回说。我数了一下,同一个意思“命令行效率高”这个点,它用了三种不同的表述写了三遍。大哥,我知道效率高了,求你别再说了。
Kimi的表现让我有点惊喜,也有点惊吓。惊喜的是它对中文网络流行语的把握是真的好,“祖传黑框框”、“装逼利器”这种词用得毫无违和感。惊吓的是它的内容深度真的不太行,写了一堆“程序员觉得黑框框很酷”之类的表面东西,完全没涉及到终端为什么在开发流程里不可替代。我怀疑它训练数据里社交媒体内容占比太高了,导致它更会抖机灵而不是讲道理。而且不知道是不是我网络的问题,Kimi的生成速度明显比其他几个慢,我等了快20秒才出结果。
最后是DeepSeek V3。这个我之前用得不多,主要是被群里的人安利的。说实话,第一段输出我就愣了一下——它居然知道用“黑话”。它写了一句“装个Arch Linux,配个i3窗口管理器,黑框框里敲vim,隔壁工位的产品经理看你的眼神都不一样了”。这他妈是懂梗的。而且它的节奏控制得很好,先是调侃,然后正经解释技术原因,最后又绕回来调侃收尾。唯一的问题是中间有一段在讲POSIX标准,突然变得非常硬核,画风突变得我差点没跟上。可能是它在追求专业和通俗之间的平衡时没把控好。
为了公平起见,我还让这四个工具互相评价了对方的输出。结果更有意思。GPT-4o评价别人的时候特别客套,全是“各有特色”、“值得借鉴”这种废话。Claude倒是敢说,直接点出Kimi“社交属性过强,技术深度不足”。Kimi评价别人的时候居然在卖萌,说“人家觉得大家都写得很好啦”。DeepSeek就硬核多了,逐条分析优缺点,最后还给了改进建议,搞得像个正经的技术review。
折腾了一上午,我自己的结论是这样的:如果你要写那种正式的、给领导看的文档,GPT-4o是最安全的,不会出错但也不会出彩。如果你要写面向大众的自媒体内容,Claude的流畅度最好,就是需要你自己砍掉一半废话。如果你要写那种特别接地气的段子或者社交媒体的帖子,Kimi的语感真的不错,但是别让它写超过800字的东西。至于DeepSeek V3,我觉得它是技术圈内容的最佳选择,懂梗也懂技术,就是偶尔会突然飙术语,需要你自己平衡一下。
对了,还有个细节。我试了让它们模拟不同语气写同一段话,比如“暴躁程序员版”、“996打工人版”、“刚入职的萌新版”。这几个模型的表现差距就更大了。GPT-4o和Claude基本分不清这些语气之间的区别,写出来的“暴躁版”就是多加几个感叹号。Kimi倒是能区分,但是用力过猛,暴躁版写出来像个精神病发作。DeepSeek在“萌新版”上表现最好,写出来那种小心翼翼又充满好奇的感觉,让我想起了自己刚工作那会儿的样子。
写完这篇文章的时候,我电脑的风扇还在呼呼转。好几个模型都是在线的,来回切换页面、复制粘贴,Chrome吃了快4个G的内存。我看了眼任务管理器,Edge在后台偷偷开了十几个进程,也不知道在干嘛。关了算了。