목차
통계 관리
실제 챗봇 서비스에서는 실사용자들의 이용 방식이 대화 생성 과정에서 예상한 발화 유형과 다를 수 있습니다. 또한 모델링 시 모든 사용자들의 발화 패턴을 대변했다고 할 수 없기 때문에 통계 데이터 및 유입된 사용자의 발화 기록 분석이 중요합니다. 네이버 클라우드 플랫폼에서는 지속적으로 모델을 개선할 수 있도록 다양한 분석 지표를 제공합니다.
네이버 클라우드 플랫폼 콘솔에서는 도메인 관리 및 통계 기능을 제공합니다.
Domain
생성된 도메인의 기본 정보를 제공합니다.
Management
도메인별 사용자 및 사용자 대화에 대해 다음과 같은 통계 데이터를 제공합니다.
- 실제 서비스되는 도메인의 실사용자, 메시지, 세션 건수 및 증감률
- 시간당 평균 및 시간당 최대 사용자, 메시지, 세션 정보
- 평균 실사용자와 대화 세션별 평균 메시지 정보
- 챗봇 서비스의 대화모델 빌드 수 및 서비스 배포 수
- 챗봇 실사용자의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별로 실사용자 정보를 확인할 수 있습니다.
- 주별, 월별 실사용자 추이 정보를 제공합니다.
- 사용자 메시지의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 메시지 건수를 확인할 수 있습니다.
- 주별, 월별 메시지 추이 정보를 제공합니다.
- 챗봇 대화 세션의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 모든 세션 건수를 확인할 수 있습니다.
- 주별, 월별 대화 세션 추이 정보를 제공합니다.
- 세션당 사용자의 평균 메시지 정보도 확인할 수 있습니다.
- 도메인 관리자의 대화모델 빌드 및 서비스 배포 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 빌드 횟수와 빌드 실패 횟수 정보를 확인할 수 있습니다.
- 주별, 월별 대화모델 빌드 및 서비스 배포 정보를 제공합니다.
통합 지표
- 챗봇 사용자 및 사용자 대화에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 챗봇 서비스의 실사용자, 사용자 메시지, 대화 세션 건수 및 증감률, 실패 대화, 일반 메시지 건수, 단일 답변 건수, 유사 답변 건수, 고객센터 연동 건수, 서비스 연동(LINE pay, Naver pay, 지식 검색 서비스 )건수 등
- 평균 실사용자 및 대화 세션별 평균 메시지 정보 및 추이
순위 지표
- 챗봇 사용자 대화에 대해 다음과 같은 순위 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 특정 기간 동안 가장 많이 응답된 대화 이름, 대화 유형, 엔티티의 순위
운영 지표
- 실패 대화와 불만족 대화 재학습에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 실패대화(불만족 대화) 건수, 수정 건수, 검토 보류 건수, 검토 제외 건수, 총 검토 건수
피드백 지표
- 피드백과 관련된 대화에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- YES/NO 피드백 비율, 피드백 만족률/응답률, 전체 피드백 건수, 대화 이름별 피드백 건수
- 한국어 도메인에서는 사용자 질문에 내포된 감정을 긍정적, 부정적, 중립적으로 분석한 감정 분석 데이터를 제공합니다. 데이터 클릭 시 해당 감정으로 분류된 질문을 확인 할 수 있습니다.
