¿Por qué IA sin servidor?
Los servidores GPU tradicionales son caros y están inactivos la mayor parte del tiempo. La inferencia sin servidor te permite pagar solo por el uso real.
Plataformas
Modal
- Nube serverless nativa de Python.
- Acceso a la GPU con cambios de código.
- Ideal para pipelines de ML e inferencia por lotes.
- Precio: facturación por segundo de GPU.
Replicate
- Ejecutar modelos de código abierto mediante API.
- Sin gestión de infraestructuras.
- Enorme biblioteca de modelos (Llama, Stable Diffusion, Whisper).
- Precio: tiempo GPU por segundo.
Cloudflare Workers AI
- Modelos desplegados en el borde a nivel global.
- Baja latencia para los usuarios finales.
- Selección limitada de modelos pero en crecimiento.
- Precios: por solicitud.
Banana / Together AI
- Especializada en inferencia de LLM.
- Escalado automático de cero a miles de solicitudes.
- Precios competitivos para cargas de trabajo de alto volumen.
Patrones arquitectónicos
- Mitigación de arranque en frío: Utiliza caché de modelos y precalentamiento.
- Pon en búfer las solicitudes durante el escalado.
- Borde + Nube: Modelos simples en el borde, complejos en la nube.
Cuándo NO usar serverless
- Cargas de trabajo consistentes y de alto rendimiento (>80% de utilización de GPU).
- Modelos demasiado grandes para la memoria GPU serverless disponible.
- Aplicaciones sensibles a la latencia que requieren una respuesta de <50 ms.
El patrón más común es API Gateway → Lambda/Cloud Function → endpoint del modelo. Para inferencia con GPU, usa servicios como Modal, Replicate o AWS Lambda con GPU (próximamente). Para inferencia con CPU (modelos pequeños, cuantizados), las funciones Lambda estándar funcionan bien.
Optimización del arranque en frío
Los arranques en frío son el mayor desafío de la IA sin servidor. Estrategias:
- Concurrencia aprovisionada: mantén instancias calientes listas (AWS) con un sobrecoste.
- Caché de modelos: guarda los modelos en /tmp o EFS. Lambda puede reutilizar archivos entre invocaciones si el contenedor está caliente.
- Modelos más pequeños: un modelo de 100 MB carga en ~200 ms; uno de 2 GB tarda ~4 segundos. Usa modelos cuantizados (GGUF Q4) para minimizar el tamaño.
- SnapStart: AWS Lambda SnapStart reduce los arranques en frío un 90 % para servidores de inferencia basados en Java.
Dónde duele de verdad el arranque en frío
Una función serverless que debe cargar un modelo de varios gigabytes en cada arranque en frío no es serverless en ningún sentido útil: la primera petición tras la inactividad tarda decenas de segundos y el coste de mantener el modelo caliente se acerca al de una máquina virtual pequeña. La división práctica es dejar el modelo detrás de un endpoint de inferencia gestionado y que la función serverless solo se ocupe de la orquestación: autenticación, montaje del prompt, recuperación y formateo de la respuesta. Esos pasos cuestan milisegundos y escalan a cero sin problemas, mientras la parte cara se queda en infraestructura diseñada para estar caliente.
Si de verdad debes ejecutar el modelo dentro de la función, mide la latencia de arranque en frío p95 con tu propia carga, no la media de un artículo. Depende del tamaño de la imagen, de la caché de capas y de si el proveedor mantiene tu contenedor caliente tras el despliegue. Una imagen reducida y un modelo cuantizado más pequeño suelen recortarla a la mitad.
El streaming cambia la economía
El streaming de tokens se describe como una función de experiencia, pero también cambia cómo presupuestas el tiempo. Una petición que termina en ocho segundos parece rota si el usuario mira un indicador girando, y parece instantánea si el primer token llega en 300 ms. Configura el timeout sobre el tiempo hasta el primer token y deja que el flujo continúe después.
Mantén la llamada al modelo detrás de una única función
Si con el tiempo pasas de serverless a un contenedor, o de un proveedor a otro, depende de cuántos lugares conocen el modelo. Un módulo que posee el cliente, el timeout, la política de reintentos y la forma de la respuesta convierte una migración en una tarde. Llamar al SDK directamente desde cinco route handlers la convierte en una reescritura.