Skip to content

data(intent): 모델링용 분할·평가 계약 준비 #32

Description

@hywznn

목적

Intent 규칙 v1.1과 1,340건 데이터셋을 기준으로 AI 저장소가 소비할 수 있는 모델링 준비 계약을 knowledge 저장소에 정의합니다.

Reviewer B가 Reviewer A 결과에 최종 동의한다고 가정해 진행하되, A/B 합의 결과 또는 원본 checksum이 바뀌면 동일한 규칙으로 다시 생성할 수 있어야 합니다.

선행 관계

작업 범위

  • Intent 모델 출력 JSON Schema
  • Knowledge → AI 인계 계약
  • Train/Validation 80:20 분할 정책
  • 고정 seed 및 유사 템플릿 그룹 기반 분할 생성기
  • provisional split manifest와 source SHA-256
  • Gold Test 240건 구성 계획
  • Intent 평가 지표 및 오류 유형
  • split 중복·누락·분포·체크섬·개인정보 패턴 검증

변경 대응

  • 합의 전 산출물은 provisional 상태로 표시
  • source checksum이 달라지면 검증 실패
  • 생성기를 다시 실행해 split ID와 manifest를 재생성 가능하게 구성
  • 최종 합의 후 status와 checksum만 확정

범위 밖

  • A.X API 호출 및 프롬프트 실험
  • BERT 학습 코드
  • 서버 응답 래퍼 구현
  • Reviewer B 판정의 임의 대체
  • 미검수 Gold 데이터의 성능 주장

완료 조건

  • Train/Validation ID가 겹치지 않고 전체 1,340건을 정확히 덮음
  • 같은 템플릿 그룹이 서로 다른 split에 들어가지 않음
  • split과 source checksum이 manifest에 기록됨
  • 모델 출력 Schema 및 평가 계약이 문서화됨
  • 저장소 검증 명령과 테스트 통과

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions