在人工智能领域，让机器同时理解语言和图像一直是科学家们努力突破的关键方向。近期，蒙特利尔大学Mila人工智能研究院、麦吉尔大学以及哥本哈根大学组成的联合研究团队，在这一领域取得了重大进展。相关研究成果以论文形式发表，读者可通过arXiv编号2602.00462获取完整内容。

研究团队聚焦于一个基础问题：当文字处理型AI系统接收图像输入时，其内部究竟发生了怎样的变化？这类似于让只熟悉中文的人突然面对英文单词，需要探究大脑如何处理陌生符号。当前AI系统中，将大型语言模型（如ChatGPT类系统）与视觉系统通过简单“翻译器”连接，就能实现图文协同理解。这个“翻译器”可能只是简单的数学转换器，甚至仅是线性转换，其简单程度超出常规认知。

图像与文字属于完全不同的信息类型，如同音乐与绘画的差异。为何文字处理系统能轻松理解图像信息？这背后隐藏着怎样的机制？为解开谜团，研究团队开发了名为“LATENTLENS”的分析工具，它如同特殊眼镜，能让研究者观察AI系统内部对视觉信息的处理过程。

研究团队对十个不同视觉语言模型进行深入分析，结果令人惊讶。传统分析方法严重低估了AI系统对视觉信息的理解能力，新方法显示大部分视觉信息在AI系统各处理层都可被理解，比例高达72%，而传统方法得出的比例仅为23% - 30%。研究还发现了“中层跃迁”这一有趣现象，即图像信息进入语言模型时，并非以原始形式存在，而是直接跃升至更高级的理解层次。

对于AI系统如何理解世界，从图像到语言的转换过程十分复杂。目前成功的视觉语言模型采用特定设计：先用视觉编码器（类似专业摄影师）分析图像，将其转换为数字化“视觉标记”，再通过连接器（类似翻译官）转换为语言模型可理解的格式，最后送入大型语言模型处理。连接器常是多层感知机（MLP），有时简单到只是线性变换，如同用简单公式转换温度单位。

这种简单性引发了科学疑问：若图像和语言信息类型完全不同，为何转换如此简单？是否意味着二者在深层次本质相通？为解答这些问题，科学家需要深入AI系统内部观察其信息处理过程，就像医生用X光机观察人体内部结构，AI研究者需要特殊工具观察算法“思维过程”。

传统分析方法主要有“嵌入透镜”和“逻辑透镜”。“嵌入透镜”通过比较视觉标记与语言模型词汇表中单词的相似程度判断其含义，如同通过比较陌生物体与已知物体猜测身份；“逻辑透镜”通过观察模型各层输出预测理解信息处理过程。但这两种方法都只能提供单个词汇级别解释，准确率不高，如同用单个词汇描述复杂画作，无法完整表达内涵。

认识到传统方法不足后，研究团队开发了LATENTLENS。其工作原理可这样比喻：传统方法如同用字典理解外语，只能逐词查找；而LATENTLENS如同精通多种语言的同声传译员，能理解完整句子和复杂语境。具体而言，LATENTLENS先建立巨大“语境数据库”，从Visual Genome数据集收集近300万个图像描述句子，用语言模型编码记录各词在不同层次、语境的表示，如同创建详细语言地图记录各词“坐标位置”。分析视觉标记时，LATENTLENS在语境数据库中寻找最相似表示，且不是简单匹配单个词汇，而是找到包含相似词汇的完整句子，如分析表示建筑物的视觉标记时，可能找到“大型红砖建筑有很多窗户”的完整描述。

句子级别描述能提供更丰富语义信息，如同用生动描述解释画作，远超单个标签。通过比较不同层次语境表示，LATENTLENS还能揭示信息在模型中的处理轨迹。为验证分析结果准确性，研究团队开发了自动化评判系统，用GPT - 5作为“裁判”，让其观看图像和相应描述，判断描述是否准确反映图像内容，该评判系统能区分具体匹配、抽象匹配和全局匹配三种类型。研究团队还进行人工验证，让真人评估者打分，结果显示AI裁判和人类评估者一致性达68%，表明自动评判系统可靠。通过完整分析框架，研究团队系统性评估了不同模型、层次的视觉理解能力，分析了九个不同模型组合（三种语言模型配合三种视觉编码器）及一个现成商业模型，共十个系统。

使用LATENTLENS分析这些AI系统时，结果超出预期。传统方法显示仅23% - 30%的视觉标记可解释，而LATENTLENS分析发现平均72%的视觉标记高度可解释，且这种高度可解释性在模型各处理层次都存在，打破了之前认为只有特定层次能获得有意义解释的观念。研究团队还发现不同模型架构存在差异，使用CLIP和SigLIP视觉编码器的模型可解释性更高，而使用DINOv2编码器的模型虽在图像描述任务上表现较差，但视觉标记可解释性同样很高。DINOv2在训练时未使用任何文本监督，完全通过自监督学习理解视觉世界，这一发现表明视觉信息和语言信息在深层次相通，即使未接受语言训练的视觉系统，其学习表示也能与语言表示建立有意义对应关系。

研究团队分析了可解释标记的类型分布，约65%属于“具体”类型，直接描述图像可见内容，如颜色、形状、物体等；约19%属于“抽象”类型，描述更高层次概念，如情感、功能、风格等；剩余16%属于“全局”类型，描述图像其他部分内容。这表明AI系统不仅能识别具体视觉元素，还能进行一定程度的抽象推理，理解图像更深层含义。

在深入分析中，研究团队发现了“中层跃迁”现象，改变了对AI系统内部信息处理方式的理解。按直觉，视觉信息进入语言模型后会从低级视觉特征逐渐转换为高级语义理解，如同人类看东西先看到线条和颜色，再识别形状、物体，最后理解含义。但LATENTLENS分析显示，视觉标记刚进入语言模型时（输入层），并非与同层文本表示最相似，而是与模型中间层（如第8层到第16层）文本表示最相似，如同学生跳级，视觉信息刚“入学”就达到相当于四五年级的理解水平。进一步分析发现，视觉标记在语言模型不同层次变化小，保持相对稳定表示，而文本标记经语言模型处理会发生显著变化，早期层次更多表现为词汇级别表示，中间层次逐渐获得丰富语境信息。这暗示视觉编码器和连接器组合已将原始视觉信息提升到高级语义层次，视觉信息进入语言模型时已不是原始像素信息，而是经过高度加工的语义表示。研究团队通过分析视觉标记的L2范数发现更多有趣细节，视觉标记的L2范数通常比文本标记大得多，有时大1 - 2个数量级，且这种差异不是由少数异常值引起，而是所有维度数值普遍增大，如同视觉信息被放大音量，但保持原有旋律结构。

研究团队对十个不同视觉语言模型进行了全面对比，为分析不同AI系统视觉理解能力提供了珍贵见解。语言模型方面，选择了OLMo - 7B、LLaMA3 - 8B和Qwen2 - 7B三种代表性模型；视觉编码器方面，选择了CLIP - ViT、DINOv2和SigLIP三种不同训练方法的系统，CLIP和SigLIP使用视觉 - 语言联合训练，DINOv2完全基于自监督学习，未使用文本信息。通过九种不同组合（3×3）及现成商业模型Qwen2 - VL - 7B - Instruct，研究团队系统分析了不同架构选择对视觉理解能力的影响。结果显示，所有模型组合使用LATENTLENS分析时都展现出很高可解释性，最差组合可解释性也达60%以上，最好组合超过80%，表明高度视觉可解释性是这类AI系统普遍特征。不同语言模型比较中，OLMo模型与EmbeddingLens和LogitLens结合使用时表现更好，但在LATENTLENS分析中所有模型表现都不错，说明LATENTLENS能更好揭示不同模型共同特征。视觉编码器选择也有影响，使用CLIP和SigLIP的模型在各种分析方法中表现良好，使用DINOv2的模型虽图像描述任务表现较差，但视觉标记可解释性同样很高，表明视觉理解和语言描述能力可能是相对独立的能力。现成商业模型Qwen2 - VL - 7B - Instruct经过完整多阶段训练，包括指令调优，图像描述任务表现出色，LATENTLENS分析显示其视觉标记同样具有很高可解释性，但中层跃迁现象不如控制实验中的模型明显，可能是多轮训练中语言模型权重调整改变了内部信息处理方式。

为更深入理解AI系统处理视觉信息的方式，研究团队对LATENTLENS找到的最佳匹配词汇进行了详细语言学分析。词性分布方面，名词占比最大，约45% - 50%，专有名词占约10% - 20%，动词占10% - 15%，形容词约占5%，这种分布在不同处理层次保持相对稳定，表明AI系统在各层次都保持对视觉世界的一致理解框架，名词主导地位说明AI系统主要识别和理解图像中的实体对象。视觉属性分析中，颜色词最常见，早期层次占约5% - 6%，随处理层次加深逐渐下降到约3%，暗示AI系统早期更多关注原始视觉特征，随处理深入逐渐转向抽象语义理解；形状和纹理词汇相对较少，都不到1%，可能因这类属性需更复杂视觉分析或训练数据中这类描述较少。可解释标记的语义类型分布显示，约65%的标记属于“具体”类型，19%属于“抽象”类型，16%属于“全局”类型，表明AI系统主要进行基于感知的直接理解，但具备一定抽象推理能力，抽象类型标记存在说明AI系统不仅能识别“是什么”，还能理解“意味着什么”。研究团队还进行了一系列控制实验，改变训练数据详细程度，从详细多句子描述改为简单单句描述，可解释性仍保持较高水平；尝试不同连接器架构，从复杂多层网络简化为简单线性变换，结果同样令人鼓舞，表明视觉标记高度可解释性是稳健现象，不依赖特定训练设置或架构选择。

LATENTLENS的发现不仅在学术上有重要意义，在实际应用方面也潜力巨大，为改进现有AI系统和开发新应用提供了重要指导。在AI系统可解释性方面，LATENTLENS提供了全新分析工具，传统AI系统常被视为“黑盒子”，只能看到输入输出，无法理解内部处理过程，而LATENTLENS能深入AI系统内部，观察其理解和处理视觉信息的方式。这种可解释性在医疗诊断、自动驾驶等关键应用领域非常重要，医生需知道AI系统诊断结果的原因，自动驾驶系统需理解如何识别和理解路况，LATENTLENS提供的分析框架可帮助开发者更好理解和改进这些系统。研究团队还展示了LATENTLENS在处理文本图像方面的出色表现，当图像中包含文字时，LATENTLENS能准确识别和描述文字内容，如分析包含“CAFE”标志的图像区域时，能找到包含“cafe”词汇的最佳匹配句子，这种能力在文档处理、街景理解等应用中非常有用。在模型开发方面，这些发现为设计更高效的视觉语言模型提供了启示，既然简单线性连接器就能实现良好效果，就无需设计过于复杂架构，可降低计算成本，提高模型训练效率。中层跃迁现象的发现也为模型优化提供了新思路，设计连接器时可考虑让视觉信息更直接映射到合适语义层次。研究团队还探索了动态生成描述的可能性，传统LATENTLENS依赖预先构建的语境数据库，但通过进化搜索算法可动态生成更准确描述，这种方法在85%的案例中能提高匹配质量，为未来系统优化提供了新方向。在评估方法方面，LATENTLENS提供的自动化评判框架也具有实用价值，传统评估AI系统视觉理解能力需大量人工标注，成本高且效率低，LATENTLENS的自动评判系统与人类评判一致性达68%，可大大降低评估成本。

针对读者可能关心的问题，研究团队给出了解答。LATENTLENS和传统分析方法的主要区别在于，传统方法只能提供单个词汇级别解释，准确率低，而LATENTLENS通过比较视觉标记与丰富语境中的文本表示，能提供完整句子级别描述，准确率高。中层跃迁现象是指视觉信息刚进入语言模型时，不是与同层文本表示最相似，而是与中间层文本表示最相似，如同学生跳级，说明视觉编码器已将原始图像提升到高级语义层次。没有语言训练的DINOv2模型能被很好解释，表明视觉理解和语言理解可能基于某些共同认知基础，如同不同语言的人看到苹果都能理解它是水果，视觉和语言在深层次相通。