Skip to content

experiment(intent): 수정 전 라벨 provisional baseline 실행 #36

Description

@hywznn

목적

A/B consensus 완료 전 원본 1,340건을 최종 학습 데이터로 확정하지 않고, PR #33의 고정 분할을 이용해 모델링·평가 파이프라인의 provisional baseline을 실행합니다.

전제

  • 원본 상태: recheck_required
  • source SHA-256: 4f4ebfdd4170a78def33e31edbed8315921c0b67934f5ff8612595dcd479bed2
  • Train 1,072건 / Validation 268건
  • Reviewer A 제안과 provisional consensus는 원본에 아직 반영하지 않음
  • 독립 Gold Test 240건은 아직 없음

작업 범위

  • 외부 API 없이 재현 가능한 로컬 multilabel baseline 추가
  • Train ID만 학습에 사용하고 Validation ID 누수 차단
  • Intent Exact Match, Macro/Micro F1, Intent별 Recall 계산
  • evidence exact match와 출력 구조 Gate를 별도 계산
  • 데이터·split·설정 checksum이 포함된 provisional report 생성
  • 동일 설정 재실행 시 결과 checksum 일치 검증
  • consensus 반영 후 재학습해야 한다는 제한 명시

완료 기준

  • Validation 레코드가 학습에 사용되지 않는다.
  • 결과가 provisional_pre_consensus로 명시된다.
  • 원본 데이터와 split 파일을 변경하지 않는다.
  • 결과를 Gold/Test 또는 최종 성능으로 표현하지 않는다.
  • make check와 개인정보 패턴 검사를 통과한다.

제외 범위

  • A.X API 호출 및 배포
  • BERT/Transformer 파인튜닝
  • 운영 threshold 확정
  • Gold Test 성능 주장

Related to #28, #32, #34 and PR #33.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions