추론(Inference)
학습된 모델을 실행해 출력을 생성하는 과정으로, 학습과 구분됩니다.
추론 속도는 초당 토큰 수로 재고, 지연 시간은 채팅 경험을 좌우합니다. vLLM 같은 서빙 엔진과 Groq 같은 하드웨어가 바로 이 추론 처리량과 비용을 최적화하기 위해 존재합니다.
관련 리소스
vLLM 고성능 추론 프레임워크
vLLM는 PagedAttention을 활용해 메모리 효율과 처리량을 획기적으로 개선한 대규모 언어 모델용 고처리량 추론·서빙 엔진입니다. 연속 배치, 텐서 병렬 처리, OpenAI 호환 API 서빙을 지원하여 대규모 LLM 배포의首选方案입니다.
Groq 고속 추론 API
Groq는 자체 LPU 하드웨어를 통해 초고속 LLM 추론을 구현하여, 인기 오픈소스 모델을 놀라울 정도로 낮은 지연시간으로 API 호출할 수 있습니다. 속도가 중요한 챗봇·코드 어시스턴트 등 실시간 애플리케이션에 이상적이며, 토큰 사용량 기반 과금입니다.