Skip to content

experiment(intent): A.X zero-shot smoke·평가 도구 추가 #38

Description

@hywznn

목적

공식 skt/A.X-4.0-Light 또는 OpenAI 호환 A.X API를 사용해 FOWOCO
Intent+evidence 프롬프트를 직접 시험하고, 소량 smoke와 provisional Validation
평가를 같은 규칙으로 실행합니다.

작업 범위

  • Intent 규칙 v1.1 기반 A.X system prompt 버전 관리
  • OpenAI 호환 /chat/completions 표준 라이브러리 클라이언트
  • AX_API_KEY 환경변수 사용 및 key 비저장
  • API 한 문장 테스트 CLI
  • 공식 A.X-4.0-Light 로컬 한 문장 테스트 CLI
  • 선택 ID·limit 기반 smoke 실행
  • A.X prediction JSONL과 report 저장
  • 전체 Validation 실행 전 명시적 옵션과 호출 간격 제공
  • JSON code fence·부가 설명 제거 후 Schema/substring/order 검증
  • API 호출 없는 mock 단위 테스트
  • 실제 A.X 응답으로 더미 발화 smoke 결과 생성

현재 제약

2026-07-27 공식 API 문서의 guest endpoint를 직접 확인했으나
Guest 용 API Endpoint 서비스는 종료되었습니다.라는 응답을 반환했습니다.
따라서 마지막 smoke는 다음 중 하나가 준비되면 실행합니다.

  1. 팀에서 사용할 수 있는 A.X OpenAI 호환 endpoint와 key
  2. 공식 7B skt/A.X-4.0-Light 로컬 다운로드·로딩에 대한 명시적 확인

완료 기준

  • 사용자가 자신의 API key와 endpoint로 한 문장을 바로 테스트할 수 있다.
  • 또는 공식 A.X-4.0-Light를 로컬에서 명시적으로 다운로드해 테스트할 수 있다.
  • 실제 더미 발화 smoke 결과가 생성된다.
  • API key가 코드·결과·로그·Git diff에 포함되지 않는다.
  • Validation 결과는 provisional_pre_consensus로 표시한다.
  • 실패 응답은 정답처럼 보정하지 않고 parse/schema 오류로 기록한다.

제한

  • 실제 개인정보 또는 기업정보를 외부 API로 전송하지 않음
  • 수정 전 Validation 결과를 Gold/Test 성능으로 주장하지 않음
  • API 호출 비용·rate limit은 제공자 정책에 따름
  • 운영 배포와 자동 승인 범위가 아님

Official references:

Implemented in PR #37. Related to #36.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions