chore(release): v0.3.12 — vision AI 응답 robust parse

vision model 의 markdown fence / prose 섞인 응답에서 JSON 추출 fallback.
prompt 에 title 한국어 / kebab tags / JSON-only 출력 명시 강화.

- LocalOllamaProvider: parseJsonLoose 헬퍼 (첫 { ~ 마지막 } 추출)
- visionPrompt: 4 규칙 + markdown fence 금지 명시
- 단위 +2 (fence 추출 + prose 추출)

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
This commit is contained in:
th-kim0823
2026-05-12 13:32:12 +09:00
parent d3cf018f62
commit 713553a038
6 changed files with 73 additions and 9 deletions

View File

@@ -3,6 +3,28 @@
본 파일은 Inkling 의 버전별 사용자 영향 변경 사항을 기록한다.
형식은 [Keep a Changelog](https://keepachangelog.com/) 를 느슨하게 따른다.
## [0.3.12] — 2026-05-12
이미지 AI 처리 실패 fix. vision model 의 응답이 strict JSON 이 아닌 경우 (markdown fence / prose 섞임) 가 흔해 schema parse 단계에서 throw → `ai_status='failed'` 도달.
### 수정
- **Vision model 응답 JSON loose parse (P1).** `LocalOllamaProvider.generate``JSON.parse` 가 strict 라 vision-tuned 모델의 markdown 코드 펜스 / 앞뒤 prose 응답에서 throw. `parseJsonLoose` 헬퍼 추가 — 첫 `{` ~ 마지막 `}` substring 추출 fallback. 실패 시 raw response 200자 snippet 포함한 에러 throw (디버깅 가시화).
- **Vision prompt 강화 (P1).** `buildVisionPrompt` 가 "title 한국어로 요약" 만 명시 → schema 의 KOREAN_REGEX/KEBAB_REGEX 강제와 불일치. 규칙 4건 명시: title 한국어 60자, summary 3줄, tags 영문 kebab-case 3개, due_date ISO 또는 null. "markdown 코드 펜스 금지" 명시로 JSON-only 출력 강제.
알려진 한계:
- `gemma4:26b` 같이 Ollama 에 실제로 release 안 된 모델명 사용 시 healthCheck 통과해도 generate 가 unknown model 로 throw. 모델 설치 여부는 사용자가 `ollama list` 확인 필요.
### 게이트
- 단위 750 → **752 PASS** (+2: markdown fence 추출 + prose 추출)
- typecheck 0 errors
- 신규 npm dependency 0
### 업그레이드
v0.3.11 인스톨러 위에 v0.3.12 인스톨러를 같은 위치에 실행하면 in-place 업그레이드. 데이터/마이그레이션 변경 없음.
## [0.3.11] — 2026-05-12
붙여넣은 이미지 / 저장된 이미지가 양쪽 창에서 표시 안 되던 CSP 누락 hotfix.

4
package-lock.json generated
View File

@@ -1,12 +1,12 @@
{
"name": "inkling",
"version": "0.3.11",
"version": "0.3.12",
"lockfileVersion": 3,
"requires": true,
"packages": {
"": {
"name": "inkling",
"version": "0.3.11",
"version": "0.3.12",
"dependencies": {
"better-sqlite3": "12.9.0",
"electron-log": "5.2.0",

View File

@@ -1,6 +1,6 @@
{
"name": "inkling",
"version": "0.3.11",
"version": "0.3.12",
"private": true,
"description": "Inkling — local-first 한 줄 보관 도구",
"author": "altair823 <dlsrks0734@gmail.com>",

View File

@@ -13,6 +13,22 @@ function classifyFetchError(e: unknown): 'network' | 'timeout' | 'dns' | 'other'
return 'other';
}
/**
* v0.3.11 — vision model 이 'format:json' constraint 를 부분적으로 따라 markdown 코드
* 펜스 / prose 가 섞인 응답을 반환할 때 fallback. 첫 '{' ~ 마지막 '}' substring 만
* 추출해서 JSON.parse 재시도. 실패하면 raw response 일부 포함한 에러 throw (디버깅용).
*/
function parseJsonLoose(raw: string): unknown {
try { return JSON.parse(raw); } catch { /* fallback below */ }
const first = raw.indexOf('{');
const last = raw.lastIndexOf('}');
if (first >= 0 && last > first) {
const slice = raw.slice(first, last + 1);
try { return JSON.parse(slice); } catch { /* fall through */ }
}
throw new Error(`unparseable response: ${raw.slice(0, 200).replace(/\s+/g, ' ')}`);
}
export interface LocalOllamaOptions {
endpoint?: string;
model?: string;
@@ -70,9 +86,8 @@ export class LocalOllamaProvider implements InferenceProvider {
}
const responseBody = (await res.body.json()) as { response?: string };
if (!responseBody.response) throw new Error('missing response field');
let parsed: unknown;
try { parsed = JSON.parse(responseBody.response); }
catch (err) { throw new Error(`invalid json in response: ${String(err)}`); }
// v0.3.11 — vision model 응답이 markdown fence / prose 섞인 경우 fallback 추출.
const parsed = parseJsonLoose(responseBody.response);
return parseAiResponse(parsed);
} finally {
clearTimeout(timer);

View File

@@ -4,13 +4,23 @@ export function buildVisionPrompt(
dueCandidates: string[],
vocab: string[]
): string {
// v0.3.11 — vision model 이 'format:json' constraint 를 부분적으로만 따르는 경우가
// 잦음 (특히 gemma3 vision). title 한국어 + JSON only 를 prompt 에서 명시 강조,
// markdown fence 금지 표기로 schema parse 통과율 개선.
return `다음 메모와 첨부 이미지를 종합 분석해 한국어로 요약하세요.
메모 본문 (비어 있을 수 있음):
${text || '(이미지만 있음)'}
이미지 분석 시 주요 시각적 정보 (텍스트, 사람, 장면) 도 포함해 요약하세요.
출력 JSON: { "title": "...", "summary": "...", "tags": [...], "due_date": "..." }
규칙:
- "title" 은 반드시 한국어로 (영어 금지). 60자 이내.
- "summary" 는 3줄. 이미지 시각 정보 (텍스트/사람/장면) 포함.
- "tags" 는 영문 kebab-case (예: meeting-notes), 최대 3개. 한국어 태그 금지.
- "due_date" 는 ISO 형식 YYYY-MM-DD 또는 null.
오직 JSON 객체 하나만 출력. markdown 코드 펜스 (\`\`\`) / 설명 prose 금지.
출력 형식: {"title":"...","summary":"...","tags":[],"due_date":null}
오늘: ${todayKst}
가능한 due 후보: ${dueCandidates.join(', ')}
빈출 태그: ${vocab.slice(0, 20).join(', ')}`;

View File

@@ -51,7 +51,24 @@ describe('LocalOllamaProvider', () => {
});
await expect(
new LocalOllamaProvider().generate({ text: 'x', todayKst: '2026-04-26', dueDateCandidates: [] })
).rejects.toThrow(/json/i);
).rejects.toThrow(/unparseable/i);
});
it('v0.3.11 — generate extracts JSON from markdown fence', async () => {
// vision model 이 ```json ... ``` 형태로 응답하는 경우 fallback 으로 추출.
mock.get('http://localhost:11434').intercept({ path: '/api/generate', method: 'POST' }).reply(200, {
response: '```json\n{"title":"회의","summary":"a\\nb\\nc","tags":["meet"]}\n```'
});
const r = await new LocalOllamaProvider().generate({ text: 'x', todayKst: '2026-04-26', dueDateCandidates: [] });
expect(r.title).toBe('회의');
});
it('v0.3.11 — generate extracts JSON when prose 가 앞뒤로 섞임', async () => {
mock.get('http://localhost:11434').intercept({ path: '/api/generate', method: 'POST' }).reply(200, {
response: 'Here is the response:\n{"title":"회의","summary":"a\\nb\\nc","tags":[]}\nDone.'
});
const r = await new LocalOllamaProvider().generate({ text: 'x', todayKst: '2026-04-26', dueDateCandidates: [] });
expect(r.title).toBe('회의');
});
it('generate aborts on timeout', async () => {