¿Qué son los modelos de visión y lenguaje?
Los modelos de visión y lenguaje (VLM) pueden comprender tanto imágenes como texto simultáneamente. Permiten aplicaciones como el subtitulado de imágenes, sesiones visuales de preguntas y respuestas y análisis de documentos.
Modelos clave
- GPT-6 Astra: Excelente en comprensión de documentos, análisis de gráficos y tareas generales de visión.
- Gemini 4 Argon: Fuerte en razonamiento multiimagen y comprensión de vídeo.
- Claude Sonnet 5.5: Bueno interpretando diagramas científicos.
- LLaVA: Opción de código abierto para autoalojamiento.
Casos de uso comunes
- OCR de documentos: Extraer datos estructurados de facturas, recibos y formularios.
- Análisis de producto: Sube una foto del producto para obtener descripciones, etiquetas y categorías.
- Accesibilidad: Generar texto alternativo para imágenes automáticamente.
- Moderación de contenido: Detectar contenido visual inapropiado.
- Comprensión de gráficos: Extraer puntos de datos de gráficos y diagramas.
Patrones de integración
Análisis básico de imágenes
Envía una imagen como base64 o URL junto con un mensaje de texto.
Comparación de imágenes múltiples
Envía varias imágenes y pide al modelo que las compare o las clasifique.
Salida estructurada
Combina visión con modo JSON para extraer datos estructurados de las imágenes.
Consejos
- Redimensionar las imágenes a una dimensión máxima de 1024px para ahorrar tokens.
- Usar JPEG sobre PNG para fotos (carga útil menor).
- Proporcionar siempre prompts específicos — "¿Qué hay en esta imagen?" da resultados vagos.
- Probar con diversas entradas para detectar casos límite.
Elegir el VLM adecuado
Para comprensión de documentos y OCR, los modelos de frontera actuales como GPT-6 Astra y Claude Sonnet 5.5 son candidatos sólidos. Para subtitulado de imágenes y preguntas visuales, Gemini 4 Argon ofrece ventanas de contexto amplias. Valida la precisión con tu propio corpus. Para despliegues de código abierto, LLaVA-NeXT y Qwen2-VL ofrecen una calidad competitiva que corre en GPUs de consumo.
Consejos prácticos
- Preprocesamiento de imágenes: redimensiona las imágenes al tamaño de entrada esperado por el modelo. La mayoría de los VLM funcionan mejor entre 224 y 1024 px. Las imágenes más grandes no mejoran la precisión pero aumentan la latencia y el coste.
- Prompts con varias imágenes: algunos VLM (por ejemplo GPT-6 Astra y Gemini 4 Argon) aceptan varias imágenes por prompt. Úsalo para tareas de comparación («¿qué foto de producto tiene mejor iluminación?»).
- Salida estructurada: pide JSON en lugar de texto libre. Los VLM manejan bien la salida estructurada cuando especificas el esquema en el prompt.
- Control de costes: los tokens de visión suelen costar entre 2 y 10 veces más que los de texto. Redimensiona y recorta a las regiones de interés para minimizar el uso de tokens de visión.
La resolución es un presupuesto, no un ajuste
Los modelos de visión no ven tu imagen; ven una rejilla de tokens derivada de ella. Una captura de 4000 píxeles reducida a una rejilla fija pierde el texto pequeño que la hacía digna de enviarse, y una miniatura de 200 píxeles de un gráfico pierde las etiquetas de los ejes. La regla práctica es recortar a la región de interés antes de enviar, en lugar de enviar la página entera y esperar. Recortar es gratis, suele mejorar la exactitud y reduce la factura de tokens al mismo tiempo.
Prueba tres tamaños con cinco imágenes representativas y anota cuál sigue respondiendo bien. Esa medición vale más que cualquier consejo general, porque la respuesta depende del glifo más pequeño que realmente necesitas leer.
Localizar gana a describir
Pedir a un modelo de visión que describa una imagen produce prosa fluida que puede ser verdadera o no. Pedirle que localice algo produce una respuesta que puedes comprobar: una caja que puedes dibujar, una coordenada que puedes comparar con la verdad de referencia. Siempre que la tarea lo permita, convierte una descripción abierta en una pregunta de localización o clasificación, porque esas tienen respuestas verificables y modos de fallo describibles.
Dónde siguen fallando estos modelos
Contar más de un puñado de objetos, leer tablas densas, aritmética y escritura a mano. Las cuatro fallan lo bastante a menudo como para exigir revisión humana, y fallan con seguridad. Diseña el pipeline para que esas respuestas puedan marcarse en lugar de confiarse, y envíalas a una persona. El coste de la comprobación es pequeño comparado con el de actuar sobre un recuento equivocado.
Dos imágenes no son el doble de dificultad
Las tareas de comparación, antes y después, este diseño frente a aquel, son donde los modelos de visión se ganan su lugar, porque la comparación es justo lo que un humano tendría que hacer a mano y el modelo lo hace en una pasada. Pide la diferencia explícitamente en lugar de dos descripciones separadas, o tendrás dos narrativas que no encajan.
Los nombres de modelos se verificaron el 2026-11-10 en la documentación oficial de OpenAI, Anthropic y Google.