experiment(intent): 수정 전 라벨 baseline과 A.X 테스트 추가

[hywznn]

요약

A/B consensus 전 수정 전 라벨 1,340건으로 모델링 파이프라인을 확인하는
provisional baseline과 A.X zero-shot 테스트 도구를 추가합니다.

Provisional baseline

• PR #33의 고정 split 사용
  • Train 1,072건
  • Validation 268건
• 외부 API·ML 라이브러리 없이 재현 가능한 문자 n-gram 다중라벨 Naive Bayes
• Validation은 학습 및 threshold 결정에 사용하지 않음
• Intent 지표와 evidence·구조 오류를 분리 보고

지표	값
Intent Exact Match	0.854478
Macro F1	0.938066
Micro F1	0.940361
Evidence Gold Exact Match	0.286136
JSON Schema / Exact Substring / Order / OOS Gate	1.0

이 수치는 템플릿성이 강한 recheck_required 데이터의 Validation 결과이며 최종
모델 또는 Gold Test 성능이 아닙니다.

A.X 테스트

• Intent 규칙 v1.1 기반 versioned zero-shot prompt
• OpenAI 호환 A.X API 한 문장 테스트
• ID 또는 limit을 지정한 provisional Validation 평가
• 공식 skt/A.X-4.0-Light 로컬 Transformers 테스트 명령
• JSON 파싱 후 Schema, evidence substring, 순서, 중복, OUT_OF_SCOPE 검증
• API key 비저장, 더미 입력 확인 옵션, 개인정보 패턴 차단
• 모델 응답은 자동 보정하지 않고 오류 유형으로 기록

공식 API 문서의 guest endpoint를 2026-07-27 직접 확인했으나 현재는
Guest 용 API Endpoint 서비스는 종료되었습니다.라는 서비스 안내를 반환합니다.
따라서 실제 추론 결과는 팀 A.X endpoint/key 또는 명시적인 로컬 7B 모델 다운로드가
준비된 뒤 생성해야 합니다. 연결 성공을 모델 추론 성공으로 표현하지 않습니다.

실행 방법은
docs/INTENT_AX_TESTING.md에
정리했습니다.

검증

• Knowledge schema validation 통과
• Ruff format/lint 통과
• 테스트 35개 통과
• 종료된 guest API 응답을 명시적 오류로 처리
• API key가 코드·결과·Git diff에 포함되지 않음
• 로컬 모델은 --confirm-model-download 없이는 다운로드하지 않음

저장소 경계

AI 저장소 작업 충돌을 피하기 위한 model 임시 브랜치입니다. 모델 학습·추론
코드는 knowledge main 병합 대상이 아니며 구조 확인 후 fowoco/ai로 이전합니다.
knowledge에는 데이터 계약·평가 정책·검증 리포트만 남기는 방향입니다.

의존 관계

• Base/선행 PR: data(intent): 모델링 분할과 평가 계약 추가 #33
• Consensus 작업: data(intent): A/B 임시 consensus와 반영 차단 추가 #35
• A.X 후속: experiment(intent): A.X zero-shot smoke·평가 도구 추가 #38
• 합의 라벨 반영 후 동일 seed로 split과 평가를 다시 실행해야 함

Closes #36
Related to #28, #32, #34, #38.

[hywznn]

AX 불러오는 방식 찾아보고 그걸로 테스트 예정