视觉语言模型：开发者实用指南

什么是视觉语言模型？

视觉语言模型（VLM）可以同时理解图像和文本。它们支持图像描述、视觉问答和文档分析等应用。

主要模型

• GPT-4o：擅长文档理解、图表分析和通用视觉任务。
• Gemini 2.0：强于多图推理和视频理解。
• Claude 3.5 Sonnet：擅长科学图表解读。
• LLaVA：可自托管的开源选项。

常见用例

• 文档 OCR：从发票、收据、表单中提取结构化数据。
• 商品分析：上传商品照片获取描述、标签和分类。
• 无障碍：自动生成图片替代文本。
• 内容审核：检测不当视觉内容。
• 图表理解：从图表中提取数据点。

集成模式

• 将图像以 base64 或 URL 形式发送，附带文本提示。
• 结合视觉和 JSON 模式从图像中提取结构化数据。

建议

• 将图像调整到最大 1024px 以节省 token。
• 照片使用 JPEG 格式（更小的载荷）。
• 提供具体的提示——"这张图中有什么？"结果模糊。