왜 서버리스 AI인가요?

전통적인 GPU 서버는 비싸고 대부분 유휴 상태입니다. 서버 없는 추론은 실제 사용량에 대해서만 비용을 지불할 수 있게 해줍니다.

플랫폼

Modal

  • 파이썬 네이티브 서버리스 클라우드.
  • 코드 변경을 통한 GPU 접근.
  • ML 파이프라인과 배치 추론에 매우 적합합니다.
  • 가격 책정: 초당 GPU 청구.

Replicate

  • API를 통해 오픈 소스 모델을 실행합니다.
  • 인프라 관리 금지.
  • 방대한 모델 라이브러리(Llama, Stable Diffusion, Whisper).
  • 가격: 초당 GPU 시간.

클라우드플레어 워커스 AI

  • 전 세계적으로 엣지 배포 모델.
  • 최종 사용자에게 낮은 지연 시간.
  • 모델 선택은 제한적이지만 점점 증가하고 있습니다.
  • 가격: 요청당

Banana / Together AI

  • LLM 추론에 특화됨.
  • 0에서 수천 건의 요청까지 자동 확장.
  • 대량 작업량에 대한 경쟁력 있는 가격 제공.

건축 패턴

  • 냉간 시작 완화: 모델 캐싱과 사전 예열 사용을 사용하세요.
  • 요청 큐잉: 스케일업 중 버퍼 요청.
  • Edge + Cloud: 가장자리에서는 단순 모델, 클라우드에서는 복잡한 모델.

서버리스를 사용하지 말아야 할 때가 언제

  • 일관된 고처리량 워크로드 (>GPU 사용률 80%).
  • 서버 없는 GPU 메모리에 너무 큰 모델.
  • 지연 시 민감한 애플리케이션에서 <50ms 응답이 필요합니다.

가장 흔한 패턴은 API Gateway → Lambda/Cloud Function → 모델 엔드포인트입니다. GPU 추론에는 Modal, Replicate, 또는 GPU가 있는 AWS Lambda(출시 예정) 같은 서비스를 사용하세요. CPU 추론(작은 양자화 모델)에는 표준 Lambda 함수가 잘 작동합니다.

콜드 스타트 최적화

콜드 스타트는 서버리스 AI의 가장 큰 과제입니다. 전략은 다음과 같습니다:

  • 프로비저닝된 동시성: 추가 비용을 내고 웜 인스턴스를 대기시켜 두세요(AWS).
  • 모델 캐싱: 모델을 /tmp나 EFS에 저장하세요. 컨테이너가 웜 상태라면 Lambda는 호출 간에 파일을 재사용할 수 있습니다.
  • 더 작은 모델: 100MB 모델은 약 200ms에 로드되고, 2GB 모델은 약 4초 걸립니다. 크기를 줄이려면 양자화 모델(GGUF Q4)을 사용하세요.
  • SnapStart: AWS Lambda SnapStart는 Java 기반 추론 서버의 콜드 스타트를 90% 줄여줍니다.

콜드 스타트가 실제로 아픈 지점

매번 콜드 스타트마다 수 GB 모델을 적재해야 하는 서버리스 함수는 실용적 의미에서 서버리스가 아닙니다. 유휴 후 첫 요청에 수십 초가 걸리고, 모델을 따뜻하게 유지하는 비용은 작은 VM에 근접합니다. 실무적 분담은 모델을 관리형 추론 엔드포인트 뒤에 두고 서버리스 함수는 오케스트레이션만 맡는 것입니다. 인증, 프롬프트 조립, 검색, 응답 정형화 같은 일은 밀리초 단위이고 0으로 깔끔하게 줄어들며, 비싼 부분은 따뜻하게 유지되도록 설계된 인프라에 남습니다.

정말 함수 안에서 모델을 돌려야 한다면 블로그 평균이 아니라 자신의 부하로 p95 콜드 스타트 지연을 측정하세요. 이미지 크기, 레이어 캐시, 배포 후 컨테이너를 따뜻하게 유지하는지에 따라 달라집니다. 이미지를 줄이고 더 작은 양자화 모델을 쓰면 흔히 절반으로 줄어듭니다.

스트리밍은 경제성을 바꾼다

토큰 스트리밍은 UX 기능으로 설명되지만 시간 예산 방식도 바꿉니다. 8초에 끝나는 요청도 사용자가 스피너를 보고 있으면 고장처럼 느껴지고, 첫 토큰이 300ms에 도착하면 즉시처럼 느껴집니다. 타임아웃은 총 시간이 아니라 첫 토큰까지의 시간에 걸고, 그 뒤로는 스트림을 계속 흐르게 하세요.

모델 호출을 하나의 함수 뒤에 두라

결국 서버리스에서 컨테이너로, 또는 한 제공자에서 다른 제공자로 옮길지는 모델을 아는 곳이 몇 군데인지에 달려 있습니다. 클라이언트, 타임아웃, 재시도 정책, 응답 형태를 소유하는 모듈 하나가 마이그레이션을 반나절 일로 만듭니다. 다섯 개의 route handler에서 SDK를 직접 부르면 재작성이 됩니다.