과정기획·강사 분석 POC

학습목표 → 과목명 → 강사 추천(과정 기획 3개)과 설문 → 분석 → 강점 → 성장방향 → 전문역량(강사 전문성 5개), 모두 8개 태스크를 로컬 Gemma 4 로 자동 산출하는 POC 다. 핵심은 LLM 결과가 사실인지, 효과 주장이 진짜인지를 증명하는 평가 설계였다. 데이터 소스를 seed JSON 과 DB 로 토글해, DB 없이도 같은 검증을 반복할 수 있게 했다.

요구사항·워크플로우와 프롬프트·스키마를 정의했고, 제1 평가자(사람)로 산출물을 정성 검토·승인했다. 강점 태스크의 환각을 NG 로 확정하고 「입력 밖 단정 금지」 프롬프트 보강과 재측정을 지시했으며, 착시 정정과 강사 추천 태스크 보류를 판정했다. 개발자 전달용 통합보고서를 냈다. 구현은 Claude, 독립 채점·적대 검증은 Codex 가 맡았다(참여 인원 기록 없음).

• 효과 수치를 다시 쟀다. 「강점 보강으로 전문역량 사실근거율 34→56%」라는 초기 결과에는 직무매칭 효과가 섞여 있었다. Codex 가 네 차례 반려하며 효과 혼재·분모 불일치를 짚었고, 같은 평가 대상·분모 100·고정 질의 5 로 강점 유무만 달리한 비교에서 49→56%(+7%p)를 관측했다(2026-06). 분석요약은 양쪽에서 따로 생성돼 원문이 같다고 보장할 수 없어, 이 값은 근사 효과로만 보고 「작지만 일관」으로 결론지었다.
• 평가자 구성을 정직하게 적었다. 원 설계는 사람 2인이었지만 확보하지 못해 사람 1 + Codex 1 로 절충하고, 운영 공식 평가 때 사람 2인을 다시 꾸리라고 문서에 남겼다.
• 문턱 미달 지표는 게이트에 넣지 않았다. 강사 추천의 순환 효과 지표는 정의가 맞지 않고 문턱(+0.5)에 못 미쳐(+0.16) PASS 대신 보류로 뒀다.

• 8개 태스크 자동 지표(형태·환각·길이·한국어) 전량 충족, 7개 PASS 확정·1개 보류(N=20, 2026-07 공식 평가).
• 강점 태스크 환각: 입력에 근거가 없는 「강의 운영 전문성」 단정을 잡아, 프롬프트 보강(코드 무수정) 뒤 N=20 재측정에서 「강의·자격」 언급 0/20, Codex 재채점 위반 0 을 확인했다.
• 개발자 전달용 통합보고서(요구·근거·흐름·와이어프레임·프롬프트·검증)를 냈고, 그 HTML 셸 형식은 이후 보고서에서 다시 썼다.

• 순환 효과 지표의 정식 실측 설계가 없고, 사람 평가자 2인을 확보하지 못했다. 사용자 효과 기록은 없다.
• 평가 재실행용 가상환경과 API 빌드 폴더가 작업 환경 정리(2026-10)로 지워져, 재현하려면 다시 구성해야 한다. 분석요약을 캐시해 원문을 고정하는 비교는 운영 후속 과제로 남겼다.

Gemma 4 26B-A4B QAT MLX 4bit(로컬) · Rust + Python · seed/DB 2-mode 데이터 소스 · PostgreSQL 벡터 검색(강사 추천) · pytest TDD · 자동 지표 + Codex 5점 루브릭 채점 · 2-AI 방법론 게이트