문제점

LLM은 텍스트 생성에 뛰어나지만, 애플리케이션은 종종 JSON 객체, 배열, 타입 값 등 구조화된 데이터가 필요합니다. 신뢰할 수 있는 구조화된 출력을 얻으려면 구체적인 기법이 필요합니다.

접근 1: 프롬프트 엔지니어링

모델에게 JSON 형식으로 응답하도록 요청하세요:

  • 프롬프트에서 정확한 스키마를 명시하세요.
  • 입출력 쌍의 예시를 포함하세요.
  • "유효한 JSON 로만 응답하세요. 설명은 없어."

접근법 2: 함수 호출 / 도구 사용

대부분의 주요 API는 이제 함수 호출을 지원합니다:

  • 기대 출력에 대한 JSON 스키마를 정의합니다.
  • 모델은 스키마에 맞는 출력으로 제한됩니다.
  • OpenAI, Anthropic, Google 및 대부분의 제공업체와 협력합니다.

접근법 3: 제한된 디코딩

아웃라인과 LMQL과 같은 라이브러리는 모델이 유효한 출력을 내도록 강제합니다:

  • Pydantic 모델 또는 JSON 스키마를 정의합니다.
  • 디코딩 과정은 토큰 방식으로 스키마 토큰을 강제합니다.
  • 유효한 출력 구조의 100% 보장.

접근 4: 강사 도서관

Instructor 라이브러리는 모든 LLM API를 Pydantic 검증으로 감싸줍니다:

  • Pydantic으로 데이터 모델을 정의하세요.
  • 강사는 재시도와 검증을 자동으로 처리합니다.
  • OpenAI, Anthropic, Gemini, 로컬 모델을 지원합니다.

모범 사례

  • 항상 출력을 스키마와 대조하여 검증합니다.
  • 제한된 옵션이 있는 필드에는 열거 유형을 사용한다.
  • 잘못된 응답에 대한 재시도 논리를 포함합니다.
  • 스키마를 단순하게 유지하세요 — 중첩된 구조는 오류율을 증가시킵니다.
  • 신뢰성을 측정하기 위해 50+ 예제로 테스트합니다.

실용 패턴

구조화된 출력을 얻는 가장 신뢰할 수 있는 방법은 시스템 프롬프트의 명확한 스키마 정의와 퓨샷 예제를 결합하는 것입니다. 원하는 정확한 형식의 입력/출력 쌍 2–3개를 모델에 보여주세요. OpenAI 모델이라면 JSON 스키마와 함께 response_format 파라미터를 사용합니다. Claude라면 tool_use API로 구조화된 응답을 강제하세요.

흔한 함정

  • 스키마 복잡도: 스키마를 평평하고 단순하게 유지하세요. 깊게 중첩된 객체는 오류율을 높입니다. 중첩 데이터가 필요하면 단계별로 만드세요.
  • 검증: 사용 전에 항상 스키마와 대조해 출력을 검증하세요. LLM은 때때로 유효하지 않은 JSON을 만들거나 필수 필드를 빠뜨립니다.
  • 열거 처리: 열거를 사용할 때는 유효한 값을 모두 프롬프트에 포함하세요. 모델이 스키마에 없는 값을 지어내기도 합니다.
  • 이스케이프: JSON 문자열 안의 JSON은 흔한 버그 원인입니다. 올바르게 이스케이프하거나 바깥 계층에는 YAML 같은 형식으로 바꾸세요.

가능하면 디코더를 제약하라

이제 모든 제공자가 문법 또는 스키마 제약 디코딩을 제공하고, 사용 가능하면 JSON을 정중히 부탁하는 것보다 엄격히 낫습니다. 차이는 형식 정확도가 아니라 복구 루프의 제거입니다. 닫히지 않은 괄호를 구조적으로 낼 수 없는 모델은 재시도, 잘림 처리, 그리고 원래 테스트해야 했을 파서 예외 분기를 없애 줍니다.

제약이 없으면 가능한 한 작은 객체를 요구하고 사용 전에 검증하세요. 제약 없는 JSON의 실패 방식은 문법 오류가 아니라, 타입이 틀린 유효한 JSON, 예상치 못한 추가 필드, 문자열이 필요한 곳의 null입니다.

데이터베이스가 아니라 모델을 위해 스키마를 설계하라

필수 필드 14개에 중첩 유니언이 있는 스키마는 평면 필드 4개보다 오류를 더 많이 냅니다. 데이터베이스 버전이 실제로 저장하고 싶은 형태여도 그렇습니다. 실무적 절충은 모델이 작은 중간 형태를 내고 코드가 저장 스키마로 매핑하는 것입니다. 그 매핑은 평범한 코드 몇 줄이고 모델 없이 테스트할 수 있으며, 모델이 불변량을 어길 능력을 없앱니다.

선택 필드는 특히 주의하세요. 선택으로 표시하면 "생략해도 된다"고 가르치게 되고, 값이 판단하기 어려운 바로 그때 생략합니다. 가장 증거가 필요했던 경우입니다. 알 수 없음과 해당 없음을 구분해야 할 때는 누락보다 명시적 센티널 값을 선호하세요.

검증한 뒤 한 번만 복구하라

검증이 실패하면 원시 출력만이 아니라 구체적 오류를 붙여 재시도하세요. 실패한 정확한 경로를 포함합니다. 표적화된 한 번의 재시도가 대부분을 해결하고, 맹목적 재시도는 같은 실수를 재현합니다. 두 번째 실패 후에는 루프 대신 요청을 실패시키고 두 시도를 모두 기록하세요. 그 쌍이 프롬프트에 대해 얻을 수 있는 가장 유용한 증거입니다.