skill-creator
— 스킬을 "감으로 고치는 것"에서 측정 가능한 아티팩트로

스킬을 만들고 나서 "잘 트리거되나?" 어떻게 검증하나? skill-creator는 eval 세트, train/test 분리, 벤치마크 수치로 스킬 품질을 수치로 읽게 한다.

출처: anthropics/skills — skills/skill-creator/SKILL.md

스킬을 "그냥 써보고 감으로 고치면" 무엇이 문제인가

스킬을 작성하고 → Claude에 붙여보고 → "잘 되는 것 같으면" 끝.
이게 검증 불가인 이유는?

출처: anthropics/skills — skill-creator/SKILL.md

skill-creator의 답: 반복 가능한 제작-평가 루프

공식 문서의 core loop (verbatim):

decide what skill should do → write a draft → create test prompts and run claude-with-the-skill on them → evaluate qualitatively AND quantitatively → rewrite based on feedback → repeat → expand test set at larger scale

출처: anthropics/skills — skill-creator/SKILL.md (Core Loop)

Progressive Disclosure: 왜 스킬이 컨텍스트를 터뜨리지 않나

스킬이 많아질수록 컨텍스트 창이 폭발하지 않을까? — 3단계 점진적 로딩이 이를 막는다.

출처: anthropics/skills — skill-creator/SKILL.md (Progressive Disclosure 섹션)

스킬 제작 시작: 4문 인터뷰로 설계를 굳힌다

skill-creator를 실행하면 먼저 4가지 질문을 던진다. 이 단계가 "감"으로 시작하는 것과 결정적으로 다른 지점.

출처: anthropics/skills — skill-creator/SKILL.md (Interactive Interview 섹션)

스킬이 만들어내는 파일 구조

skill-creator가 생성하는 디렉토리 레이아웃 — 각 폴더의 역할이 progressive disclosure 3단계와 1:1 대응한다.

skill-name/
├── SKILL.md          # 필수. YAML frontmatter(name+description) + 마크다운 본문
│                   # frontmatter = 1단계(ALWAYS), 본문 = 2단계(WHEN triggered)
├── scripts/        # 선택. 실행 가능한 결정론적 스크립트 → 컨텍스트 로드 없이 실행
├── references/     # 선택. 필요할 때만 로드하는 참조 문서
└── assets/         # 선택. 템플릿·아이콘·폰트 등

출처: anthropics/skills — skill-creator/SKILL.md (File Structure 섹션)

Eval 루프: train/test 분리로 과적합을 막는다

이 슬라이드가 핵심 — 단순 "테스트"와 다른 이유가 여기 있다.

evals.json 구조

{
  "skill_name": "my-skill",
  "evals": [
    {
      "id": "eval-01",
      "prompt": "...",
      "expected_output": "...",
      "files": []        // 첨부 파일 (선택)
    }
  ]
}

결과 디렉토리 & 벤치마크

<skill-name>-workspace/
└── iteration-N/
    ├── eval-K/          # 각 eval 결과
    └── timing.json      # total_tokens, duration_ms 포함

# 벤치마크 집계
python -m scripts.aggregate_benchmark <workspace>/iteration-N \
    --skill-name <name>
→ benchmark.json + benchmark.md 생성

출처: anthropics/skills — skill-creator/SKILL.md (Eval System 섹션)

Claude는 스킬을 과소트리거한다 — 그래서 description을 최적화한다

스킬이 있어도 Claude가 꺼내지 않으면 의미 없다. skill-creator는 description 자체를 자동 반복 개선한다.

트리거 eval 구성 (~20개)

자동 최적화 루프

python -m scripts.run_loop \
  --eval-set <path> \
  --skill-path <path> \
  --model <id> \
  --max-iterations 5

출처: anthropics/skills — skill-creator/SKILL.md (Description Optimization 섹션)

패키징과 환경별 적응

python -m scripts.package_skill <folder>
→ .skill 파일 생성

출처: anthropics/skills — skill-creator/SKILL.md (Packaging, Environment Adaptations 섹션)

skill-creator가 바꾸는 것 하나

"스킬을 만들었다" 에서
"스킬이 이 케이스를 X% 잡는다"로.

출처: anthropics/skills — skill-creator/SKILL.md

참고자료

• anthropics/skills — skills/skill-creator/SKILL.md (1차 출처, 모든 사실의 근거)
• anthropics/skills — 전체 레포지토리

이 자료의 모든 인용문, 명령어, 파일 구조, 수치는 위 SKILL.md에서 직접 확인한 것만 포함했습니다. 확인되지 않은 내용은 생략했습니다.