AI 기반 티켓 분류 및 라우팅

AI 분류 시스템은 들어오는 각 티켓에 대해 세 가지 단계로 작동합니다. (1) 분류: 시스템은 텍스트 분류 모델을 사용하여 티켓 내용(제목, 메시지 본문 및 메타데이터 — 고객 플랜 등급, 계정 기록, 언어)을 분석하여 티켓 카테고리(청구 문제, 기술 버그, 사용 방법 질문, 에스컬레이션 요청) 및 하위 카테고리를 예측합니다. 잘 훈련된 모델의 구조화된 SaaS 지원 데이터에 대한 분류 정확도는 일반적으로 상위 카테고리에서 85-92%에 도달합니다. (2) 우선순위 예측: 분류된 문제 유형을 계정 메타데이터(엔터프라이즈 등급, 상태 점수, 갱신까지 남은 일수, 미해결 에스컬레이션)와 결합하여 모델은 예측된 우선순위 점수를 할당합니다. 동일한 기술 문제라도 갱신이 임박한 대기업 계정에서 제출될 때와 소규모 SMB 계정에서 제출될 때 다른 우선순위를 받습니다. (3) 라우팅: 분류되고 우선순위가 지정된 티켓은 기술 일치(상담원이 이 문제 유형을 이전에 해결한 적이 있는지? 성공률은 얼마인지?), 현재 대기열 부하(균형 분배 대 순수 기술 라우팅), 언어 일치(스페인어 티켓을 스페인어 유창 상담원에게 라우팅), 시간대 가용성(활성 근무 시간 내 상담원에게 라우팅)을 기반으로 최적의 상담원 또는 상담원 대기열에 할당됩니다. 라우팅 결정은 수동 대기열 관리가 5-30분의 분류 지연을 추가하는 것과 비교하여 밀리초 단위로 이루어집니다.

일반적인 AI 분류 도구는 각 SaaS 제품마다 문제 분류 체계와 용어가 고유하기 때문에 제품별 분류에서 성능이 떨어집니다. 제품별 모델을 구축하려면 다음이 필요합니다. 훈련 데이터 준비: 수동으로 할당된 카테고리, 상담원 태그 및 우선순위가 포함된 12-18개월간의 과거 티켓을 내보냅니다. 일반적으로 5,000-25,000개의 레이블이 지정된 예시가 필요합니다. 데이터 품질이 제약 조건입니다. 일관되지 않거나 잘못된 수동 태그가 지정된 티켓은 모델 훈련 성능을 저하시킵니다. 모델 훈련 전에 데이터 정리 작업(가장 일반적인 태그 지정 오류 검토 및 수정)이 필수적입니다. 카테고리 정의: 모델 분류 카테고리는 라우팅 로직과 일치해야 합니다. 라우팅 시스템에 15개의 대기열이 있다면 모델은 15개의 카테고리를 예측해야 합니다. 너무 세분화된 카테고리(50개 이상)는 카테고리당 훈련 예시가 너무 적기 때문에 정확도가 낮은 모델을 생성합니다. 모델 훈련: 모델 훈련 플랫폼(Hugging Face AutoTrain, Google AutoML 또는 Forethought, Cognigy, Level AI와 같은 기존 도구 내 훈련 기능)을 사용하거나, 데이터 과학자가 레이블이 지정된 데이터셋에서 오픈 소스 텍스트 분류기를 미세 조정합니다. 지속적인 유지 관리: 티켓 볼륨이 증가함에 따라(더 많은 훈련 데이터는 정확도를 향상시킴) 분기별로 모델을 재훈련하고, 훈련 데이터에 없는 새로운 문제 유형을 도입하는 중요한 제품 변경 후 즉시 재훈련합니다.

AI 분류 모델은 티켓을 오분류합니다. 문제는 그 비율이 얼마이며 오분류가 운영에 미치는 영향이 무엇인지입니다. 오분류 모니터링: 세 가지 지표를 추적합니다. 라우팅 오류율: 초기 할당 후 재라우팅되는 티켓의 비율(상담원이 티켓이 잘못 라우팅되었다고 판단하여 수동으로 재할당). 라우팅 오류율이 10-12%를 초과하면 모델 재훈련 또는 라우팅 로직 조정이 필요함을 나타냅니다. 분류 신뢰도 분포: 대부분의 분류 모델은 예측과 함께 확률 점수를 생성합니다. 모델의 신뢰도 점수가 정의된 임계값(예: 70% 미만)보다 낮은 티켓의 비율을 추적합니다. 낮은 신뢰도 예측은 라우팅 전에 사람의 검토 대상이 되며, 더 높은 정확도를 위해 약간 느린 라우팅 속도를 감수합니다. 세그먼트별 정확도: 티켓 유형별로 오분류율을 세분화합니다. 모델은 일반적으로 일반적인 문제 유형에서는 잘 작동하지만 드물거나 새로운 문제 유형에서는 성능이 떨어집니다. 오분류율이 20%를 초과하는 카테고리는 클래스 불균형 재훈련으로 정확도를 개선할 수 있을 때까지 수동 라우팅(모델 우회) 대상이 됩니다. 피드백 루프 통합: 상담원 티켓 보기에 원클릭 "잘못된 카테고리" 버튼을 구현합니다. 상담원이 잘못 라우팅된 티켓을 보면 이 버튼을 클릭하여 잘못된 분류와 상담원이 수정한 분류를 모두 훈련 데이터 수집을 위해 캡처합니다. 이 수동 피드백 루프는 최소한의 상담원 노력으로 모델 정확도를 지속적으로 향상시킵니다.