docs(embed-candle): 도그푸딩 + A1 반증 + MKL 부정결과 증거 기록
- HOTFIXES + release-notes: candle 전체 도그푸딩 997 docs/23,151 chunks/에러 0 (9.5h) - A1(taskset -c 0-3) 실서버 반증: 4코어 제한에도 onnxruntime segfault → candle 만이 실 해법 - MKL 가속 부정 결과: 코어 더 쓰나 38~50% 느림 → 미채택, 순수-Rust 유지 - 패리티 2.01e-7 재확인, 성능 트레이드오프 명시 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -65,10 +65,33 @@ double-free 경로를 원천 차단한다. NUMA 노드 바인딩이 더 필요
|
||||
- 문서: README Configuration, `docs/SMOKE.md` config 예시, `docs/ARCHITECTURE.md`
|
||||
crate 그래프/트리에 candle provider 반영.
|
||||
|
||||
## 잔여 검증 (사용자 실행)
|
||||
## 검증 / 도그푸딩
|
||||
|
||||
듀얼소켓 NUMA 서버에서 `provider=candle` 로 5150-doc ingest 가 double-free
|
||||
없이 EXIT=0 완주하는지가 본 release 의 최종 인수 게이트다 (meta-spec §4.3).
|
||||
패리티(candle vs onnxruntime): cosine_min = 1.000000, 차원별 max 절대오차 =
|
||||
2.01e-7 — 벡터가 사실상 동일하므로 `embedding_version` 유지(재색인 0). 재현은
|
||||
`crates/kebab-embed-candle/tests/parity.rs` (`--ignored`).
|
||||
- **패리티 (candle vs onnxruntime)**: 동일 e5-large 가중치로 cosine_min =
|
||||
1.000000, 차원별 max 절대오차 = **2.01e-7**. 벡터가 사실상 동일 →
|
||||
`embedding_version` 유지(재색인 0). 재현: `crates/kebab-embed-candle/tests/parity.rs`
|
||||
(`--ignored`).
|
||||
- **전체 도그푸딩 (2026-06-02)**: `provider=candle` 로 도그푸딩 코퍼스 전체
|
||||
재색인 — **997 docs / 23,151 chunks, 에러 0** 완주 (≈9.5 h, 단일소켓 VM).
|
||||
candle 가 23k+ 청크를 메모리 오류 없이 처리함을 확인.
|
||||
- **A1(taskset/numactl) 반증**: NUMA 서버에서 `taskset -c 0-3` 으로 스레드를
|
||||
4개로 묶어도 onnxruntime 은 그대로 죽었다(6/5150 segfault). 스레드 축소는
|
||||
해법이 아니며, **`provider=candle` 만이 실 해법**이다 (candle 은 onnxruntime 을
|
||||
호출하지 않음).
|
||||
- **최종 인수 게이트 (사용자)**: 그 듀얼소켓 NUMA 서버에서 `provider=candle` 로
|
||||
ingest 가 EXIT=0 완주 — 배포·실사용이 이 검증을 겸한다.
|
||||
|
||||
## 성능 노트 (중요)
|
||||
|
||||
candle CPU 임베딩은 onnxruntime 대비 약 **3~4× 느리다** (e5-large/512-tok 의
|
||||
순수-Rust 커널 비용). 측정상 ~1.86 s/chunk, CPU 약 4코어 활용. **이는 의도된
|
||||
트레이드오프** — onnxruntime 이 전 코어를 AVX-512 로 빡빡하게 굴리는 바로 그
|
||||
경로가 NUMA 에서 힙을 손상시켜 죽기 때문이다. "느려도 완주" > "빨라도 크래시".
|
||||
|
||||
- Intel **MKL 가속을 실험했으나 부정 결과**: MKL 은 코어를 더 쓰지만(8~9코어)
|
||||
오히려 38~50% 느렸다(과다구독 + MKL 2020.1 오버헤드). 채택하지 않음.
|
||||
- 더 많은 코어/스레드로는 빨라지지 않는다(병목이 코어 수가 아님). 속도가
|
||||
critical 하면 청크 길이 단축 / 더 작은 모델 / GPU 가 레버다(별도 검토).
|
||||
- 9.5 h 는 **최초 전체 색인 1회 비용**이며, 이후 증분 ingest 는 새/변경 문서만
|
||||
처리해 저렴하다. 단일 워크스테이션(비-NUMA)에서는 기본 `fastembed` 가 더 빠르니
|
||||
candle 은 NUMA 호스트 전용 opt-in 으로 둔다.
|
||||
|
||||
Reference in New Issue
Block a user