Skip to content

data(intent): A/B consensus 생성과 원본 반영 경로 준비 #34

Description

@hywznn

목적

Reviewer A/B 독립 검수 결과를 비교해 consensus를 만들고, 최종 합의가 끝난 경우에만 원본 1,340건에 반영할 수 있는 안전한 경로를 준비합니다.

현재 상태

작업 범위

  • A/B CSV 비교 및 consensus 생성 도구 추가
  • B 미제출 상태에서 A 동의를 가정한 provisional consensus 생성
  • 가정 상태·미합의·논의 필요 행을 명시적으로 구분
  • B 확인 전 원본 1,340건 적용을 fail-closed로 차단
  • 실제 B 결과가 들어오면 일치·불일치 목록 생성
  • 전건 최종 합의 후에만 원본 반영 가능한 명령과 검증 추가
  • 원본 반영 후 checksum·manifest·split 재생성 절차 문서화

완료 기준

  • B 판정값이 비어 있으면 원본 적용 명령이 실패한다.
  • provisional consensus가 Reviewer B의 실제 검수 결과로 오해되지 않는다.
  • A의 NEEDS_DISCUSSION 26건은 자동 합의하지 않는다.
  • 실제 A/B 일치 건과 합의 완료 건만 최종 적용 대상으로 인정한다.
  • 원본 반영 전후 ID·레코드 수·JSON Schema·evidence exact substring·중복·개인정보 패턴을 검증한다.

제외 범위

  • Reviewer B 결과를 임의로 작성하거나 검수 완료로 표시하지 않음
  • B 확인 전 원본 hr_intent_dataset.jsonl 수정하지 않음
  • 이 작업만으로 모델 성능이나 Gold Test 품질을 주장하지 않음

Related to #28, #30, #32.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions