Files

altair823 16b4f9fb9f 📝 docs(HANDOFF): 도그푸딩 피드백에 따른 백로그 항목 추가

- P9 dogfooding 백로그 항목 fb-26 ~ fb-42 추가
- 각 항목의 목표, 증상, 후속 작업 및 위험 요소 명시
- release 계획에 따른 0.3.0 ~ 0.6.0 분할

📝 docs(INDEX): 백로그 항목에 대한 세부 정보 추가

- fb-26 ~ fb-42 항목의 세부 정보 및 상태 추가
- 각 항목의 목표와 후속 작업 명시
- 도그푸딩 피드백에 따른 개선 사항 반영

🔧 chore(tasks): 새로운 백로그 항목 파일 생성

- p9-fb-26 ~ p9-fb-42 각 항목에 대한 개별 파일 생성
- 각 파일에 목표, 증상, 후속 작업 및 위험 요소 포함
- doogfooding 피드백을 기반으로 한 개선 사항 문서화

2026-05-06 13:26:36 +00:00

2.2 KiB

Raw Blame History

phase, component, task_id, title, status, target_version, depends_on, unblocks, contract_source, contract_sections, source_feedback

phase

component

task_id

title

status

target_version

depends_on

unblocks

contract_source

contract_sections

source_feedback

kebab-search + kebab-rag + kebab-chunk

p9-fb-39

Retrieval precision 튜닝 (rank 5+ 노이즈 완화)

open

0.5.0

../../docs/superpowers/specs/2026-04-27-kebab-final-form-design.md

§3 chunking

§4 search

§7 RAG

사용자 도그푸딩 2026-05-06 — Claude Code 가 kebab CLI 사용 후 "rank 5+ 부터 노이즈 섞임" 지적. precision-at-k 가 k=5 이후 떨어짐.

p9-fb-39 — Retrieval precision 튜닝

⏳ 백로그 only — 미구현. 본 spec 은 도그푸딩 피드백 skeleton. 구현 착수 전 superpowers:brainstorming 으로 설계 단계 선행 필요. 어느 lever (chunk policy / RRF k / score gate / cross-encoder / embedding 업그레이드) 부터 손볼지, eval golden set 선행 여부 brainstorm 후 결정.

증상 / 동기

top-1~4 chunk 는 관련 있으나 5번째부터 무관 chunk 섞임. recall OK, precision-at-k 저하.
LLM 이 noise chunk 를 context 에 포함하면 답변 품질 저하 / hallucinate 위험.

Goal (skeleton — brainstorm 단계에서 확정)

top-k 결과의 precision 향상. 후보:
1. chunk policy 재검토 (size / overlap / boundary).
2. RRF k 파라미터 (현재 default 60) 재튜닝 또는 score gate threshold default ON.
3. cross-encoder reranker PoC — top-N retrieve → rerank → top-k.
4. embedding model 업그레이드 (fastembed default → 더 큰 / 한글 강한 모델).
평가 지표: P@5, P@10, MRR, NDCG. P5 eval runner 활용.

후속 작업 — brainstorm 필요 항목

어느 lever 부터 손볼지 — 비용 / 효과 trade-off.
cross-encoder 도입 시 local-only 유지 가능한지 (fastembed cross-encoder 지원?).
embedding 변경이면 embedding_version cascade — 전체 재처리 필요.

Risks / notes

embedding_version bump = 전체 vector index 재구축. p9-fb-23 incremental ingest 와 충돌 가능.
cross-encoder 는 latency 증가 — 단일 사용자 local 환경에서 받아들일 수 있는지 확인.
eval golden set 부족하면 튜닝 불가 — golden set 확장 선행 필요할 수 있음.

2.2 KiB Raw Blame History