대부분의 챗봇이 실패하는 이유
대부분의 챗봇은 모두에게 모든 것이 되려 하기 때문에 사용자를 답답하게 만듭니다. 해결책은 기술이 아니라 디자인에서 시작됩니다.
디자인 원칙
- 좁은 범위: 한 가지는 잘해. 범용 챗봇을 만들지 마세요.
- 우아한 후퇴: 봇이 도와줄 수 없을 때는 사람에게 전송하거나 대안을 제공하세요.
- 기대치를 설정하세요: 봇이 할 수 있는 것과 할 수 없는 것을 미리 알려주세요.
- 진행 상황 표시: 다단계 작업의 경우, 사용자가 진행 상황을 보여줘.
대화 디자인
- 인사: 명확하고 간결하며 기대치를 설정합니다. "주문 추적이나 제품 질문에 답하는 데 도움을 드릴 수 있어요."
- 오류 처리: 절대 "이해하지 못한다"고 말하지 마세요. 대신: "그건 잘 모르겠어요. "다시 표현해주실 수 있나요, 아니면 인간과 이야기하고 싶으신가요?"
- 확인: 중요한 행동의 경우 실행 전에 항상 확인하세요.
- 기억: 대화 내에서의 맥락을 기억하세요. 이전 메시지를 참고하세요.
기술적 모범 사례
- 지연: 2초 이내에 응답해야 합니다. 더 긴 답변을 위해 스트리밍을 활용하세요.
- 정확도를 위한 RAG: LLM의 학습 데이터뿐만 아니라 지식 기반 내 지상 응답.
- 가드레일: 봇이 주제에서 벗어나거나 약속을 하지 못하게 막습니다.
- 분석: 해결률, 에스컬레이션률, 사용자 만족도를 추적합니다.
피해야 할 안티 패턴
- 인간인 척 하는 거야.
- 봇이 이해하지 못할 때 끝없는 반복.
- 사용자가 이미 제공한 정보를 요청하는 경우.
- 구조화된 답변 대신 긴 텍스트 벽.
- 인간 요원에게 연락할 명확한 방법이 없어.
중요한 지표
챗봇 효과를 측정하려면 다음 KPI를 추적하세요:
- 해결률: 사람에게 에스컬레이션하지 않고 해결된 대화의 비율. 목표: 60-80%.
- 평균 처리 시간: 대화 전체 길이. 챗봇은 사람만 있을 때보다 이를 40-60% 줄여야 합니다.
- 사용자 만족도(CSAT): 대화 후 설문. 목표: 5점 만점에 4.0 이상.
- 에스컬레이션 비율: 사람에게 넘긴 비율. 30% 미만이면 좋고, 20% 미만이면 탁월합니다.
- 폴백 비율: 봇이 "모르겠습니다"라고 말하는 빈도. 10% 미만이어야 합니다.
대화 흐름 설계
가장 빈번한 고객 문의 20개를 정리하고 각각의 흐름을 만드세요. 의사결정 트리 방식을 사용합니다:
1. 의도 감지: 사용자가 무엇을 원하는지 분류합니다(LLM 또는 키워드 매칭 사용).
2. 슬롯 채우기: 필요한 정보를 단계별로 수집합니다.
3. 작업 실행: API를 호출하거나 데이터베이스를 조회합니다.
4. 확인: 실행 전에 작업을 다시 말해 줍니다.
5. 후속 조치: 더 필요한 것이 있는지 묻습니다.
고급 기법
- 감정 감지: 사용자가 답답해 보이면 즉시 에스컬레이션하세요. 같은 말을 반복하게 만들지 마세요.
- 선제적 메시지: 질문을 기다리는 대신 페이지 맥락에 맞춰 인사하세요("가격을 보고 계신 것 같네요. 플랜 선택을 도와드릴까요?").
- 다국어 지원: LLM의 내장 번역을 사용하세요. 첫 메시지에서 언어를 감지하고 그 언어로 응답하세요.
봇의 일은 먼저 라우팅하고 그다음 답하는 것
대부분의 고객 대면 챗봇은 모든 것에 답하려다 실패합니다. 모른다는 것을 안정적으로 인식하고 깔끔한 대화 요약과 함께 사람에게 넘기는 봇이, 80%를 해결하고 나머지 20%를 좌절시켜 이탈시키는 봇보다 가치 있습니다. 먼저 인계를 설계하세요. 무엇이 그것을 발동시키고, 사람은 무엇을 받고, 고객에게 다음에 무슨 일이 있는지 어떻게 알리는가.
검색 품질이 상한을 정한다
지원 봇은 채팅 인터페이스를 가진 검색 시스템입니다. 답이 지식 베이스에 없으면 어떤 프롬프트도 고치지 못합니다. 가장 가치 있는 일은 봇이 실패한 질문을 감사해 답이 원자료에 존재했는지 확인하는 것입니다. 존재했다면 문제는 청킹이나 검색이고, 없었다면 문제는 콘텐츠이며 모델을 바꿔도 소용없습니다.
계정 상태를 절대 추측하지 마라
특정 고객, 주문, 청구서, 잔액에 관한 구체적 정보는 모델의 대화 기억이 아니라 도구 호출에서 와야 합니다. 추론된 상태를 자신 있게 되풀이하는 것이 가장 해로운 챗봇 실패입니다. 권위 있어 보이지만 틀렸기 때문입니다. 도구가 실패하면 빈틈을 메우지 말고 실패했다고 말하세요.
해결률과 만족도를 따로 측정하라
높은 해결률에 낮은 만족도는 봇이 인계해야 할 때 거부한다는 뜻입니다. 높은 만족도에 낮은 해결률은 모든 것을 에스컬레이션해 봇이 아무것도 더하지 않는다는 뜻입니다. 어느 실패인지 알려면 두 숫자가 모두 필요합니다.