문서 기반 AI 챗봇 V3 — PDF 질의응답 챗봇

관리자가 올린 PDF 문서를 근거로 질문에 답하는 문서 기반 질의응답(RAG) 챗봇이다. 고객사 시험운영 단계까지 진행했다.

이전 판은 OpenAI 파일 검색 기반이었고, V3에서는 기본 질의응답 경로를 로컬 LLM(Ollama)과 로컬 벡터 DB(ChromaDB) 구조로 전환했다. 외부 모델(OpenAI)을 고르는 기능은 관리자 설정으로 따로 두었다. 기본 경로를 로컬로 두는 것과 그에 따른 비용·데이터 통제는 V3의 설계 목표이며, 고객사 시험 환경의 실제 설정은 원자료으로 확인하지 못했다.

답변에는 원본 파일명과 쪽 번호를 인용하고, 문서와 관련 없는 질문은 LLM을 부르지 않고 바로 안내한다. 관리자는 PDF 업로드·비동기 인덱싱과 웹 크롤링으로 질의응답 대상 문서를 관리한다.

• 문서 기반 질의응답 챗봇 개발을 이끌었고, 개발 뒤 고객사 시험운영까지 진행했다. 세부 역할 분담은 기록이 없다.
• 구현과 기능 테스트는 Claude Code가, 코드·답변 품질 검증은 GPT-5-mini가 맡은 기록이 있다.

• 코드 리뷰 점수 평균이 65.2/100 → 82.9/100점으로 올랐다(같은 4개 항목·같은 검증 모델, 1차 → 3차, 2026-03-25). Critical 지적은 3차에서 0건이 됐다.
• 답변 품질은 5점 만점에 3.66점(시험 문서 1종·2쪽, 10문항 중 6문항 PASS, LLM-as-Judge, 유사도 임계값 0.6)이었다. 임계값 0.4에서는 5문항 중 1건, 0.6에서는 10문항 중 8건이 검색에 성공했다(문항 수가 달라 같은 조건 비교는 아니다).
• 새로 붙인 관리자 기능(개인정보 필터·초기 키워드·답변 품질 설정·웹 크롤링)의 API 시험 26건이 모두 통과했다(2026-03-26, 로컬).

• 고객사 시험운영 단계이며, 운영 전환이나 사용 효과를 잰 기록은 없다. 소개서의 「운영 비용 0원」「외부 유출 원자료 차단」은 시험으로 확인한 결과가 아니라 설계 목표로만 적는다.
• 답변 품질은 2쪽짜리 시험 문서 한 종으로 잰 값이며, 인용 정확도(2.7/5)와 완전성(3.4/5)이 낮게 나왔다. 더 큰 문서 집합과 사용자 피드백 수집이 다음 과제다.
• 운영 전환 전 추가 보완 과제가 남아 있다.

• Next.js 16 · React 19 · shadcn/ui · Tailwind CSS 4, FastAPI(Python), Ollama(qwen2.5:32b, 임베딩 bge-m3), ChromaDB(cosine), SQLite, SSE 스트리밍. 청크 900자·겹침 150자, 검색 상위 5개, 대화 맥락 6턴