# ELL Labeling QC Report (Bonny)

Sample: 347 turns (10% resample)

## Per-field Jaccard agreement (mean)

| 필드 | 평균 Jaccard | n |
|---|---:|---:|
| `emotion` | 0.726 | 339 |
| `behavior` | 0.669 | 339 |
| `driver` | 0.805 | 339 |
| `pain` | 0.870 | 339 |
| `concern_category` | 0.818 | 339 |
| `alt_channel` | 0.955 | 339 |
| `conversion_trigger` | 0.963 | 339 |

**판정 구간**: high ≥ 0.85 · medium ≥ 0.70 · low < 0.70

## Disagreement examples (Jaccard < 0.6, 482건)

### T-80055-01-05 · `behavior` · j=0.0
- answer: 다들 자기애 자랑하는 분위기라.. 우리애만 이상한가 싶기도 하고 얘기 꺼냈다가 오히려 제가 뭐 문제있는 엄마로 보일까봐요. 남편한테도 말 잘 안해요 맞벌이라 피곤하고
- run1: ['비교_판단']
- run2: []

### T-80055-01-05 · `driver` · j=0.0
- answer: 다들 자기애 자랑하는 분위기라.. 우리애만 이상한가 싶기도 하고 얘기 꺼냈다가 오히려 제가 뭐 문제있는 엄마로 보일까봐요. 남편한테도 말 잘 안해요 맞벌이라 피곤하고
- run1: []
- run2: ['눈치_안보기', '익명성']

### T-80055-01-05 · `concern_category` · j=0.0
- answer: 다들 자기애 자랑하는 분위기라.. 우리애만 이상한가 싶기도 하고 얘기 꺼냈다가 오히려 제가 뭐 문제있는 엄마로 보일까봐요. 남편한테도 말 잘 안해요 맞벌이라 피곤하고
- run1: ['부부_육아분담']
- run2: []

### T-80055-01-05 · `alt_channel` · j=0.0
- answer: 다들 자기애 자랑하는 분위기라.. 우리애만 이상한가 싶기도 하고 얘기 꺼냈다가 오히려 제가 뭐 문제있는 엄마로 보일까봐요. 남편한테도 말 잘 안해요 맞벌이라 피곤하고
- run1: ['지인_친정']
- run2: []

### T-80067-04-05 · `emotion` · j=0.0
- answer: 그건 괜찮아요 오히려 그거 답하고 나면 답변이 더 정확해지는거자나요. 제 애기 잔병치레 진짜 많거든요 어린이집 다니고부터 한달에 두세번은 아파요 ㅠㅠ
- run1: []
- run2: ['피로']

### T-80093-08-03 · `emotion` · j=0.5
- answer: 아… 그니까 평상시 육아 고민은 제가 알아서 해요. 밥 안 먹는다 숙제 안 한다 이런 건. 근데 딸이 SNS에서 친구랑 뭐 일 터졌을 때요, 그때는 진짜 어디 물어볼 데가 없거든요. 친정엄마는 '폰 뺏어' 이러고, 남편은 관심도 없고… 그 순간에 보니 없으면 저 진짜 혼자예요.
- run1: ['고립감', '불안']
- run2: ['고립감']

### T-80093-08-03 · `concern_category` · j=0.25
- answer: 아… 그니까 평상시 육아 고민은 제가 알아서 해요. 밥 안 먹는다 숙제 안 한다 이런 건. 근데 딸이 SNS에서 친구랑 뭐 일 터졌을 때요, 그때는 진짜 어디 물어볼 데가 없거든요. 친정엄마는 '폰 뺏어' 이러고, 남편은 관심도 없고… 그 순간에 보니 없으면 저 진짜 혼자예요.
- run1: ['미디어_스마트폰', '부부_육아분담', '조부모_세대차']
- run2: ['또래_관계', '미디어_스마트폰']

### T-80055-01-01 · `emotion` · j=0.5
- answer: 애가 초6인데 언제부턴가 집에 오면 자기방 문 잠그고 안나와요. 밥먹을때만 잠깐 나오고.. 뭐가 문제인지도 모르겠고 물어봐도 대답도 안하니까 답답해서 검색하다 들어왔어요
- run1: ['답답함']
- run2: ['답답함', '무력감']

### T-80055-01-01 · `behavior` · j=0.5
- answer: 애가 초6인데 언제부턴가 집에 오면 자기방 문 잠그고 안나와요. 밥먹을때만 잠깐 나오고.. 뭐가 문제인지도 모르겠고 물어봐도 대답도 안하니까 답답해서 검색하다 들어왔어요
- run1: ['새벽_검색']
- run2: ['기능_탐색', '새벽_검색']

### T-80062-01-03 · `emotion` · j=0.5
- answer: 그냥 뭐라도 답이 필요했어요. 네이버에 '신생아 밤낮 바뀜' 쳤는데 다 똑같은 말만 나오고.. '일시적이에요~' 이런 거 너무 지겨웠어요
- run1: ['답답함']
- run2: ['답답함', '회의']

### T-80062-01-03 · `driver` · j=0.0
- answer: 그냥 뭐라도 답이 필요했어요. 네이버에 '신생아 밤낮 바뀜' 쳤는데 다 똑같은 말만 나오고.. '일시적이에요~' 이런 거 너무 지겨웠어요
- run1: []
- run2: ['24시간_즉답', '구체_절차_답변']

### T-80071-02-07 · `emotion` · j=0.5
- answer: 그냥 피곤한 날이요… 야근하고 오면 애 숙제 확인만 겨우 하고 뻗어요. 그리고 가끔 '어차피 물어봐도 맞벌이 상황 전제로 답 안 해주겠지' 싶어서 안 열 때도 있어요. 원론적인 답 나올 것 같아서.
- run1: ['피로']
- run2: ['체념', '피로']

### T-80071-02-07 · `concern_category` · j=0.0
- answer: 그냥 피곤한 날이요… 야근하고 오면 애 숙제 확인만 겨우 하고 뻗어요. 그리고 가끔 '어차피 물어봐도 맞벌이 상황 전제로 답 안 해주겠지' 싶어서 안 열 때도 있어요. 원론적인 답 나올 것 같아서.
- run1: []
- run2: ['부부_육아분담', '학습_학교']

### T-80023-05-03 · `emotion` · j=0.0
- answer: 일단 우리애만 보는게 아니라 저까지 같이 봐주셨어요. 부모교육이라고 해서 저 어릴때 얘기도 물어보시고. AI는 그렇게 못하잖아요
- run1: []
- run2: ['공감받음', '신뢰']

### T-80023-05-03 · `driver` · j=0.0
- answer: 일단 우리애만 보는게 아니라 저까지 같이 봐주셨어요. 부모교육이라고 해서 저 어릴때 얘기도 물어보시고. AI는 그렇게 못하잖아요
- run1: []
- run2: ['전문가_연결']

### T-80023-05-03 · `pain` · j=0.5
- answer: 일단 우리애만 보는게 아니라 저까지 같이 봐주셨어요. 부모교육이라고 해서 저 어릴때 얘기도 물어보시고. AI는 그렇게 못하잖아요
- run1: ['맞춤화_부족', '전문성_한계_체감']
- run2: ['전문성_한계_체감']

### T-80023-05-03 · `conversion_trigger` · j=0.0
- answer: 일단 우리애만 보는게 아니라 저까지 같이 봐주셨어요. 부모교육이라고 해서 저 어릴때 얘기도 물어보시고. AI는 그렇게 못하잖아요
- run1: ['신뢰할_진단_필요']
- run2: ['AI_답변_한계', '사람의_공감_필요']

### T-80022-07-01 · `behavior` · j=0.0
- answer: 인스타는 감성적인 글이나 예쁜 일상 보려고 보고요 유튜브는 아까말한 언어치료사나 발달관련 영상 볼때 써요. 그리고 친정엄마한테 전화도 자주 해요
- run1: ['기능_탐색']
- run2: []

### T-80096-04-07 · `driver` · j=0.0
- answer: 아 그건 진짜 좋죠. 솔직히 그게 되면 상담 선생님 같잖아요. 매번 처음부터 설명 안 해도 되고. 근데 그거 되는 거예요 지금?
- run1: ['초보_친화']
- run2: []

### T-80061-09-07 · `behavior` · j=0.0
- answer: 네 그건 할 거 같아요ㅋㅋ 솔직히 저는 가족이랑 공유보다는 저 혼자 새벽에 덜 무서운 게 훨씬 중요해서… 그게 된다면 9900원 아니라 더 내라고 해도 고민할 거 같아요 한 번은
- run1: ['맞춤화_수용']
- run2: []

### T-80061-09-07 · `driver` · j=0.33
- answer: 네 그건 할 거 같아요ㅋㅋ 솔직히 저는 가족이랑 공유보다는 저 혼자 새벽에 덜 무서운 게 훨씬 중요해서… 그게 된다면 9900원 아니라 더 내라고 해도 고민할 거 같아요 한 번은
- run1: ['24시간_즉답', '구체_절차_답변']
- run2: ['24시간_즉답', '눈치_안보기']

### T-80061-09-07 · `concern_category` · j=0.0
- answer: 네 그건 할 거 같아요ㅋㅋ 솔직히 저는 가족이랑 공유보다는 저 혼자 새벽에 덜 무서운 게 훨씬 중요해서… 그게 된다면 9900원 아니라 더 내라고 해도 고민할 거 같아요 한 번은
- run1: ['건강_질병', '안전_사고']
- run2: []

### T-80058-01-03 · `emotion` · j=0.5
- answer: 애 키우는건 애마다 다 다르잖아요. 근데 AI는 결국 데이터 기반이니까 일반적인 답밖에 못해줄거같았어요. 그게 실제로 맞았고요
- run1: ['회의']
- run2: ['실망', '회의']

### T-80076-01-05 · `behavior` · j=0.5
- answer: 그게... 한번 adhd라고 이름 붙으면 애가 평생 그 꼬리표 달고 살 것 같은 거예요. 학교에도 소문나고, 저도 엄마로서 뭔가 실패한 것 같고ㅠㅠ 남편은 또 '애들 다 그렇지 왜 유난이냐' 이러니까 저 혼자 새벽에 폰 붙들고 우는 거죠.
- run1: ['새벽_검색', '전문가_보류']
- run2: ['새벽_검색']

### T-80074-01-07 · `driver` · j=0.5
- answer: 네 맞아요.. 내일 아침에 등원할 때 뭐라고 말해주면 좋을지, 친구한테 먼저 다가가는 법 같은거요. 진짜 오늘 당장 쓸 수 있는 말이 필요했어요
- run1: ['구체_절차_답변']
- run2: ['24시간_즉답', '구체_절차_답변']

### T-80095-03-05 · `behavior` · j=0.0
- answer: 있었어요. 딸이 '나 못생겼어' 할 때 뭐라고 말해줘야 하냐고 물었는데, 보니가 '외모보다 내면이 중요하다고 말해주세요' 이런 식으로 답한 적 있어요. 그걸 누가 몰라요... 그 말 하면 딸이 더 짜증내요. 진짜 써먹을 수 있는 문장이 필요한데.
- run1: ['비교_판단']
- run2: []

### T-80023-02-05 · `concern_category` · j=0.5
- answer: 학원 정보 이런거는 카페요. 근데 애 기질이나 감정 얘기는 카페에 못써요. 애 욕먹을까봐서요. 지인한테는 더 못하구요 남편한테도 다 말 못해요
- run1: ['감정_기질', '학습_학교']
- run2: ['감정_기질']

### T-80012-02-03 · `behavior` · j=0.0
- answer: 거의 밤 9시 10시쯤이요. 애 씻기고 재우기 직전에 오늘 있었던 일 중에 뭔가 이상했던거 물어볼때가 많아요
- run1: ['반복_확인']
- run2: []

### T-80012-02-03 · `driver` · j=0.0
- answer: 거의 밤 9시 10시쯤이요. 애 씻기고 재우기 직전에 오늘 있었던 일 중에 뭔가 이상했던거 물어볼때가 많아요
- run1: ['24시간_즉답']
- run2: []

### T-80017-07-05 · `behavior` · j=0.0
- answer: 동네 학원 정보나 초등 실전 정보는 맘카페가 최고예요. 보니는 그런 로컬 정보는 못주니까요. 그건 대체 안되는거같아요
- run1: []
- run2: ['비교_판단']