什么是视觉语言模型?
视觉语言模型(VLM)可以同时理解图像和文本。它们支持图像描述、视觉问答和文档分析等应用。
主要模型
- GPT-6 Astra:擅长文档理解、图表分析和通用视觉任务。
- Gemini 4 Argon:强于多图推理和视频理解。
- Claude Sonnet 5.5:擅长科学图表解读。
- LLaVA:可自托管的开源选项。
常见用例
- 文档 OCR:从发票、收据、表单中提取结构化数据。
- 商品分析:上传商品照片获取描述、标签和分类。
- 无障碍:自动生成图片替代文本。
- 内容审核:检测不当视觉内容。
- 图表理解:从图表中提取数据点。
集成模式
基础图像分析
将图像以 base64 或 URL 形式发送,附带文本提示。
多图比较
发送多张图像,让模型进行比较或排序。
结构化输出
结合视觉和 JSON 模式从图像中提取结构化数据。
建议
- 将图像调整到最大 1024px 以节省 token。
- 照片使用 JPEG 格式(更小的载荷)。
- 提供具体的提示——"这张图中有什么?"结果模糊。
- 用多样化输入测试,找出边界情况。
选择合适的 VLM
文档理解和 OCR 方面,GPT-6 Astra 和 Claude Sonnet 5.5 是值得优先验证的候选。图像描述和视觉问答方面,Gemini 4 Argon 提供大上下文窗口。开源自部署方面,LLaVA-NeXT 和 Qwen2-VL 提供可在消费级 GPU 上运行的竞争力质量。
实用技巧
- 图像预处理:将图像调整为模型期望的输入尺寸。大多数 VLM 在 224–1024px 效果最佳。更大图像不提高准确率但增加延迟和成本。
- 多图提示:部分 VLM(GPT-6 Astra、Gemini 4 Argon)支持每个提示多张图像。用于比较任务(「哪个产品照片光线更好?」)。
- 结构化输出:要求 JSON 而非自由文本。在提示词中指定 schema,VLM 能很好处理结构化输出。
- 成本控制:视觉 token 通常比文本 token 贵 2–10 倍。调整图像大小并裁剪到感兴趣区域以减少视觉 token 使用。
分辨率是预算,不是设置项
视觉模型看不到你的图像,它看到的是一张由图像推导出的 token 网格。一张 4000 像素的截图被缩到固定网格,会丢掉那些让截图值得发送的小字;而一张 200 像素的图表缩略图会丢掉坐标轴标签。务实的规则是发送前先裁到你关心的区域,而不是整页发过去然后指望。裁剪是免费的,通常还能提高准确率,同时降低 token 账单。
用五张有代表性的图测三种尺寸,记下哪种仍能答对。这个测量比任何通用建议都值钱,因为答案取决于你实际需要读出的最小字形。
定位胜过描述
让视觉模型描述一张图,会得到流畅但未必为真的散文。让它定位某个东西,会得到你可以核验的答案:一个能画出来的框、一个能和真值对比的坐标。只要任务允许,就把开放式描述改写成定位或分类问题,因为这些有可核验的答案和可描述的失败模式。
这些模型仍然失败的地方
数超过一小撮的物体、读密集表格、算术、手写。这四类失败率高到必须人工复核,而且它们失败得很自信。把流水线设计成这些答案能被标记而不是被信任,并把它们转给一个人。相比基于错误计数采取行动的代价,这次检查的成本很小。
两张图不是两倍难度
比较类任务是视觉模型真正立足的地方——前后对比、这个设计对那个设计。因为这种比较正是人本来得手工做的事,而模型一次就能做完。要明确要求「说出差异」,而不是要两份分开的描述,否则你会得到两段对不上的叙述。
文中的模型名称已于 2026-11-10 对照 OpenAI、Anthropic 与 Google 的官方文档核实。