대화형 설문이 쌓은 깊은 맥락은 AI 요약의 블랙박스 안에서 쉽게 사라진다. 본 리포트는 Dean Works가 제안하는 증거 연결형 라벨링(Evidence-Linked Labeling, ELL) 방법론을 소개하고, 보니(bonny) 육아 코칭 서비스의 대화형 설문 100세션을 사례로 객관식 설문이 놓치는 맥락을 ELL 파이프라인이 어떻게 포착하는지 살펴본다.
대화형 설문(Conversational Survey)은 응답자의 한마디를 AI가 이어받아 다시 파고드는 구조다. 답변의 깊이는 비약적으로 커지는 대신, 분석 단계에서 이 거대한 텍스트를 어떻게 다룰 것인가라는 문제가 남는다. 생성형 AI에게 요약을 맡기면 “대부분의 고객이 검색 기능에 피로감을 느낍니다” 같은 매끄러운 문장이 돌아온다. 그러나 대부분이 몇 명인지, 그들이 꼬리 질문에 실제로 뭐라고 답했는지, 그 문장이 어디에서 비롯됐는지 되묻는 순간 답할 길이 없다.
우리는 세 가지를 동시에 원했다. 모든 숫자는 결정적으로 집계되어야 하고, 모든 주장은 실제 응답으로 거슬러 올라갈 수 있어야 하며, 해석의 불확실성은 숨기지 말고 정직하게 공개해야 한다. 이 세 원칙이 만나는 지점에 증거 연결형 라벨링이 있다.
본 리포트는 Dean Works 팀이 운영 중인 보니(bonny) 육아 코칭 서비스의 대화형 설문 100세션 약 4,500턴을 ELL 파이프라인으로 처리한 결과를 수록한다. 같은 응답자 100명에게 객관식 15문항 설문을 추가로 받아, 객관식이 놓치는 맥락을 대화형이 어떻게 포착하는지 직접 대조한다.
폐쇄형 어휘 제약 · 서술과 수치의 아키텍처 분리 · 2-pass 자기검증과 Jaccard 일치도 · 원문 역추적 UI.
9개 페르소나 × 8개 자녀 연령대 × 10개 대화형 질문. 같은 100명이 남긴 두 형식의 데이터.
대화형 설문 데이터에서 도출된 12개 핵심 인사이트. 모든 수치는 근거 응답자 리스트로 드릴다운.
객관식 리커트와 다중선택이 집계한 결과 vs ELL이 대화형에서 끌어올린 서사를 8쌍으로 대비.
같은 응답자 100명·같은 라벨러로 첫 답변만 vs 꼬리 전체를 각각 라벨링. INS-04 응답자 기반이 97→33명으로 떨어진다.
각 문항에서 가장 빈번했던 라벨 상위, Tail 프로빙 패턴, 샘플 인용. 문항별 결을 빠르게.
100세션 × 14토픽을 페르소나로 묶은 가중 Voronoi. 셀 클릭으로 페르소나·토픽·개별 응답 드릴다운.
전체 3,478 user turn 검색·필터·CSV 다운로드. 페르소나·질문·라벨 facet으로 좁혀 근거에 직접 접근.
Kim, H. C. (2026). Evidence-Linked Labeling: A Verifiable Pipeline for Quantifying Conversational Qualitative Data. Dean Works Research. https://doi.org/10.5281/zenodo.20020776
@techreport{kim2026ell,
author = {Kim, Hyung Chul},
title = {Evidence-Linked Labeling: A Verifiable Pipeline for
Quantifying Conversational Qualitative Data},
institution = {Dean Works, Inc.},
year = {2026},
doi = {10.5281/zenodo.20020776},
url = {https://doi.org/10.5281/zenodo.20020776},
note = {Deposited at Zenodo}
}모든 수치는 FE 리포트의 원문 응답으로 역추적 가능하며, DOI는 영구 불변입니다. 추후 개정판은 같은 DOI 아래 새 버전으로 퇴적됩니다.