Pourquoi l’IA sans serveur ?
Les serveurs GPU traditionnels sont chers et inactifs la plupart du temps. L’inférence sans serveur vous permet de payer uniquement pour l’utilisation réelle.
Plateformes
Modal
- Cloud serverless natif Python.
- Accès au GPU avec modifications de code.
- Parfait pour les pipelines ML et l’inférence batch.
- Tarification : facturation GPU par seconde.
Replicate
- Exécuter des modèles open source via API.
- Pas de gestion d’infrastructure.
- Énorme bibliothèque de modèles (Llama, Stable Diffusion, Whisper).
- Tarif : temps GPU par seconde.
Cloudflare Workers AI
- Des modèles déployés en bordure à l’échelle mondiale.
- Faible latence pour les utilisateurs finaux.
- Sélection de modèles limitée mais en croissance.
- Tarif : par demande.
Banana / Together AI
- Spécialisé en inférence LLM.
- Mise à l’échelle automatique de zéro à des milliers de requêtes.
- Tarifs compétitifs pour les charges de travail à fort volume.
Motifs architecturaux
- Atténuation du démarrage à froid : Utilisez la mise en cache et le préchauffage du modèle.
- File d’attente des requêtes : Mettez les requêtes en attente pendant la mise à l’échelle.
- Edge + Cloud : Modèles simples en edge, complexes en cloud.
Quand ne PAS utiliser le sans-serveur (serverless)
- Charges de travail constantes à haut débit (>80 % d’utilisation du GPU).
- Modèles trop volumineux pour la mémoire GPU serverless disponible.
- Applications sensibles à la latence nécessitant une réponse de <50 ms.
Le motif le plus courant est API Gateway → Lambda/Cloud Function → point de terminaison du modèle. Pour l’inférence GPU, utilisez des services comme Modal, Replicate ou AWS Lambda avec GPU (bientôt disponible). Pour l’inférence CPU (petits modèles, quantifiés), les fonctions Lambda standard fonctionnent bien.
Optimiser le démarrage à froid
Les démarrages à froid sont le plus grand défi de l’IA sans serveur. Stratégies :
- Concurrence provisionnée : gardez des instances chaudes prêtes (AWS) moyennant un surcoût.
- Mise en cache des modèles : stockez les modèles dans /tmp ou EFS. Lambda peut réutiliser des fichiers entre invocations si le conteneur est chaud.
- Modèles plus petits : un modèle de 100 Mo se charge en ~200 ms ; un modèle de 2 Go prend ~4 secondes. Utilisez des modèles quantifiés (GGUF Q4) pour réduire la taille.
- SnapStart : AWS Lambda SnapStart réduit les démarrages à froid de 90 % pour les serveurs d’inférence Java.
Là où le démarrage à froid fait vraiment mal
Une fonction serverless qui doit charger un modèle de plusieurs gigaoctets à chaque démarrage à froid n’est pas serverless au sens utile : la première requête après une période d’inactivité prend des dizaines de secondes, et le coût de maintenir le modèle chaud approche celui d’une petite VM. La séparation pratique consiste à placer le modèle derrière un point de terminaison d’inférence géré et à ne confier à la fonction que l’orchestration : authentification, assemblage du prompt, récupération et mise en forme de la réponse. Ces étapes coûtent des millisecondes et descendent proprement à zéro, tandis que la partie coûteuse reste sur une infrastructure prévue pour rester chaude.
Si vous devez vraiment exécuter le modèle dans la fonction, mesurez la latence de démarrage à froid p95 sur votre propre charge, pas la moyenne d’un article. Elle dépend de la taille de l’image, du cache de couches et du maintien ou non de votre conteneur après déploiement. Une image allégée et un modèle quantifié plus petit la réduisent souvent de moitié.
Le streaming change l’économie
Le streaming de tokens est présenté comme une fonctionnalité d’expérience, mais il change aussi votre budget de temps. Une requête terminée en huit secondes paraît cassée si l’utilisateur fixe un indicateur, et instantanée si le premier token arrive en 300 ms. Réglez le timeout sur le délai jusqu’au premier token, et laissez le flux continuer ensuite.
Gardez l’appel au modèle derrière une seule fonction
Passer un jour de serverless à un conteneur, ou d’un fournisseur à un autre, dépend du nombre d’endroits qui connaissent le modèle. Un module qui possède le client, le délai d’attente, la politique de nouvelles tentatives et la forme de la réponse transforme une migration en un après-midi. Appeler le SDK directement depuis cinq route handlers la transforme en réécriture.