ThinEmbed: komprimované dotazové enkodéry

Velikost, kvalita a rychlost v prohlížeči

harrier-0.6b na SciFact, testovací split, 300 dotazů; nDCG@10 proti vlastnímu fp32 indexu modelu. Jeden notebook v klidu, integrovaná GPU Intel, headless Chrome; latence na dotaz; špičková paměť všech procesů Chrome. Řádky ThinEmbed jsou vydané soubory.

Soubory Q3_K a Q2_K jsou naše exporty GPTQ do formátů llama.cpp; vlastní kvantizér llama.cpp při této velikosti dosáhne stejné kvality. Jedno zařízení, jeden model, jeden korpus: diskrétní GPU a telefony změřené nejsou. Zdroj: vq_results.md §2.

Nejmenší soubory proti jiným přístupům

harrier-0.6b na SciFact, testovací split, 300 dotazů, fp32 0,7559. Nativně: llama.cpp na CPU. Prohlížeč: náš WebGPU runtime. Simulace: torch simulace kvantovaných vah.

Párově proti BitNet-270m na 2,12 bitu na váhu: SciFact +0,007 [−0,014; +0,028] a NFCorpus −0,005 [−0,020; +0,009], oboje nerozlišitelné; ArguAna +0,044 [+0,023; +0,065]. Zdroje: vq_results.md §1, karta modelu ThinEmbed-harrier-0.6b.

Čeština: WebFAQ-cs

Qwen3-Embedding-0.6B na WebFAQ-cs (PaDaS-Lab/webfaq-retrieval, CC BY 4.0): 71 529 pasáží, 7 231 lidsky hodnocených testovacích otázek; nDCG@10 proti vlastnímu fp32 indexu modelu.

Řádek ThinEmbed: torch simulace souboru na celém testovacím splitu. V prohlížeči (integrovaná GPU Intel) soubor reprodukuje simulaci na prvních 50 otázkách na čtvrté desetinné místo (0,6393 proti 0,6393); p95 130 ms, načtení 2,5 s. Kalibrace na 3 000 trénovacích otázkách WebFAQ-cs, jeden seed. Vydané skalární české soubory jsou místo toho měřené na indexu rozhodnutí Nejvyššího soudu (viz vydané soubory). Zdroj: karta modelu ThinEmbed-Qwen3-Embedding-0.6B-vq.

Vydané soubory

Každý soubor je dotazový enkodér pro právě jeden dokumentový enkodér a jeho nastavení; index se nemění. Kvalita v % vlastního fp32 nDCG@10 modelu, testovací splity, pokud není uvedeno jinak.

Index rozhodnutí Nejvyššího soudu: 55 071 segmentů, 1 137 syntetických dotazů; data nejsou veřejná. Karta modelu každého repozitáře uvádí kompatibilitu, recept a sha256 každého souboru. Zdroje: karty modelů v docs/release repozitáře.

Rychlý start

V prohlížeči s balíčkem npm @moravian/thinembed-vq. Vyžaduje WebGPU se shader-f16 (Chrome, Edge); bez CPU fallbacku.

import { loadVqwClient } from 'https://moravian.ai/vqweb/vqweb.js';   // or: npm install @moravian/thinembed-vq

const client = await loadVqwClient(
  'https://huggingface.co/moravianai/ThinEmbed-Qwen3-Embedding-0.6B-vq/resolve/main/qwen3-0.6b-vq3.5d2-webfaq_q-vocfull.vqw');
const q = await client.embed('Kolik stojí parkování v centru Prahy?');   // Float32Array(1024), L2-normalised
// score = dot(q, d) against your Qwen/Qwen3-Embedding-0.6B document vectors

Změření klienta na vlastním indexu s balíčkem PyPI thinembed; vektory dokumentů, které už máte, se nikdy nepřepočítávají:

pip install "thinembed[torch]"

eq import  --name mycorpus --docs corpus.jsonl --doc-emb index.f32 --doc-ids ids.json --teacher qwen3-0.6b --language cs
eq synth   --dataset mycorpus --lang Czech --n-per-doc 2 --as-calib     # synthetic queries + calibration text
eq cache   --dataset mycorpus --teacher qwen3-0.6b                      # fp32 query vectors of the unchanged model
eq compile --model model-f16.gguf --types Q4_K_M Q3_K --calib data/calib/mycorpus_synth_q.txt --table q4_0
eq eval    --dataset mycorpus --teacher qwen3-0.6b --clients models/*.gguf --bin llama-embedding --rule
eq compare results/perq/mycorpus_<a>.npz results/perq/mycorpus_<b>.npz  # paired bootstrap, same queries

Odkazy

• Kód, technická zpráva a ověřovací recept: github.com/rosecky/embedding-quantization-public (Apache-2.0)
• Technická zpráva: technical_report.md · výsledky vektorové kvantizace: vq_results.md
• npm: @moravian/thinembed-vq · zdroj balíčku a README
• PyPI: thinembed · README balíčku
• Vydané soubory: huggingface.co/moravianai
• Demo v prohlížeči: moravian.ai/demo

Kód pod Apache-2.0. Soubory klientů pod licencí svého základního modelu (MIT nebo Apache-2.0). Korpusy dema SciDocs (BEIR, CC BY 4.0) a WebFAQ-cs (CC BY 4.0).