我最近在折腾一个事儿，让我彻底想明白了什么叫多模态。我试图用AI帮我整理一堆家庭照片，本来以为就是简单分个类，结果发现我想要的跟AI能做到的之间，隔着一个巨大的鸿沟。
一开始我用的是纯图像识别模型，比如那种只能认“猫”或者“狗”的。我把去年夏天在北海公园拍的照片丢进去，它倒是能认出“湖泊”、“树木”、“天空”，但完全不懂这张照片对我意味着什么——那是我妈第一次坐游船，她那天穿了一件特别显眼的红色防晒衣，笑得跟个孩子似的。模型只给我标注了“一个中年女性在船上”，我差点想把电脑砸了。
后来我换了个多模态模型，就是那种能同时处理图像和文本的。我把同样一张照片丢进去，再加上一段文字描述：“帮我找出我妈第一次坐游船的照片，她穿着红色防晒衣，笑得特别开心，背景里有白塔。”结果它真的找到了，还顺便把其他几张我妈笑得最自然的照片也挑出来了。这就是多模态的能力——它把“看懂画面”和“理解文字描述”这两件事给串起来了。
其实多模态这个事儿，特别像我们平常跟人打交道的方式。你想想，你平时跟朋友聊天，不光是用嘴说，你会看对方的表情，听对方的语气，甚至能感觉到他是不是在敷衍你。如果对方一边说“我没事”，一边眼眶红红的，你肯定不会相信他真的没事。这就是多模态——把视觉、听觉、语言这些信息综合起来理解。
现在的AI也是这个路子。OpenAI的GPT-4V、Google的Gemini、还有国产的智谱清言，这些模型都不再是单打独斗了。它们能看图片、能读PDF、能听语音、能生成视频。我试过用Gemini分析一张我拍糊了的电路板照片，它不光指出了我焊点有问题，还告诉我“第三排第二个电阻看起来有点松动，建议重焊”。这可比我对着百度查半天靠谱多了。
但说实话，真正让我觉得多模态牛逼的，是它解决了以前AI特别傻的一个问题——上下文断裂。之前你给AI一张图片，它只能分析图片本身。你问它“这张图里的狗是什么品种”，它回答“柯基”。你再问“它看起来开心吗”，它就得重新分析一遍，完全忘了刚才聊过什么。多模态模型不一样，它能把整个对话过程当作一个整体来理解。我前几天在跟Kimi聊天时，先给它看了我家猫的照片，它说“这只英短蓝白看起来有点胖”。我接着问“它是不是该减肥了”，它直接回答“从上一张照片看，它的肚子确实有点下垂，建议控制食量”。这个“上一张照片”这几个字，就是多模态带来的连续性。
不过多模态也有翻车的时候。有一次我拿了一张PS5的手柄照片，问AI“这个手柄是什么颜色的”，它看了半天说是“白色带黑色点缀”。实际上那是标准的白色手柄，但因为我拍照时光线偏黄，它就被骗了。还有更离谱的，我朋友用语音跟AI聊天，背景音里有电视声，AI直接把他说的“帮我订个外卖”理解成了“帮我订个外卖的电视节目”，结果订了个纪录片。这种因为信息混杂导致的误解，在多模态里特别常见。
多模态真正厉害的地方，是它能让AI理解“潜台词”。比如你给AI看一张饭桌上只有一盘青菜的照片，然后说“我妈做的晚饭”，AI如果只有单一模态，它只能描述“一张木桌上有一盘油菜”。但多模态模型能结合“青菜”和“晚饭”这两个信息，推断出“这顿饭可能比较简单，你可能在抱怨吃得不够丰盛”。我试过，它真的会回我一句“这顿确实有点素，要不点个外卖加个鸡腿？”这种能力，放在以前想都不敢想。
当然，多模态也不是万能的。我最近在做一个测试，给AI同时看一张美食照片和一段描述“这顿饭花了800块”，结果它把一碗普通的面条分析成了“高档餐厅的招牌面”。因为照片里确实有精致的摆盘，但实际那碗面就是在小区门口吃的，800块是请客的总价。AI把“800块”和“精致摆盘”强行关联了，这就是多模态信息冲突时它容易犯的错误。
说到底，多模态就是让AI更像一个“人”。人不会只看文字不看图，也不会只听声音不看表情。AI现在正在往这个方向走，而且走得挺快。我前两天用华为的盘古模型做视频分析，它居然能在一个监控视频里同时识别出“有人在跑”和“他手里拿着东西”，然后结合场景判断“这可能是保安在追小偷”。虽然最后验证发现那只是两个员工在闹着玩，但AI能把不同通道的信息整合成一个完整的故事，这个本事确实让人后背发凉。
最后说个实用的。如果你想体验多模态，不用非得装什么复杂的软件。现在大部分国产AI都支持了，比如字节的豆包、阿里的通义千问、百度的文心一言。你打开它们的App，直接拍照上传，然后打字或者语音问问题就行。我昨天刚用豆包帮我翻译了一张日文菜单，它不光翻译了菜名，还根据图片里的食材和摆盘，告诉我“这个可能是烤鳗鱼套餐，配的是味增汤”。虽然翻译里把“鳗鱼”写成了“鳝鱼”，但已经够我点菜不踩雷了。
多模态这玩意儿，说白了就是给AI装上了眼睛和耳朵，让它不再是那个只会读文字的“书呆子”。但它的智商嘛，有时候还是像个刚学会走路的小孩，看见什么都想摸一下，偶尔还会摔个跟头。不过这不正是科技有意思的地方吗？你永远不知道它下一次翻车会翻出什么新花样。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现