40 Releases 40 Tags

RSS Feed

• v0.24.0 acb4fa6c65

  Compare

  v0.24.0 — 상세 ingest 진행 로깅 (asset 내부 phase 가시화) Stable

  altair823 released this 2026-06-02 17:46:47 +00:00 | 53 commits to main since this release

  v0.24.0 — 상세 ingest 진행 로깅 (asset 내부 phase 가시화)

  변경 사실

  ingest 진행 표시가 asset(문서) 단위뿐이라, 한 문서 내부의 parse / chunk / expansion(별칭 LLM, 청크당 순차 호출) / embed / store 가 보이지 않았다. 큰 문서 하나가 expansion 으로 수십 분 걸려도 진행바가 1/N 에 멈춘 듯 보여 병목을 찾기 어려웠다. 이번 릴리스는 asset 내부 phase 를 노출한다.

  추가된 것 (wire ingest_progress.v1 additive — 기존 consumer 호환)

  • asset_chunked { idx, total, chunks } — 청킹 직후 즉시 "이 문서가 N청크" 표시 (큰 첫 문서가 멈춘 게 아님을 바로 확인).
  • expansion_progress { idx, total, done, chunks } — 별칭 확장 중 라이브 카운터 (스로틀: 25청크 또는 1s).
  • asset_timings { idx, total, parse_ms, chunk_ms, expansion_ms, embed_ms, store_ms } — 문서 종료 시 phase 별 소요시간 (markdown 경로).

  사용자 체감

  • 사람용 출력: → N chunks, 별칭 확장 450/1843 (라이브), 종료 시 ⏱ parse 3ms · chunk 673ms · expand 1980s · embed 12s · store 33ms. → 어느 phase 가 병목인지(expansion vs embed) 한눈에.
  • --json: 새 이벤트가 line-delimited 로 흐름. --quiet 억제.

  호환 / 한계

  • wire v1 backward-compat (신규 kind 만 추가, 기존 필드 무변경). 동작/벡터/schema 메이저 변경 없음.
  • image/pdf 경로는 phase timing 없음(asset_chunked 만). expansion_progress 비-TTY human 은 기본 억제(--json 은 전량).
  • store_ms = SQLite persist 전용, embed_ms = 임베딩 + 벡터 upsert + stale-vector purge (정확한 귀속).

  Downloads

  • Source Code (ZIP)
  • Source Code (TAR.GZ)