CzechVoice: česká řeč na text přímo v zařízení

CzechVoice, česká řeč na text přímo v zařízení, od Moravian AI

Česká řeč na text přímo v zařízení · váhy zdarma pro nekomerční použití

Whisper large-v3-turbo doladěný na češtině. Češtinu přepisuje přesněji než otevřené modely, které jsme zkoušeli, a jeho 4bitový soubor o 452 MiB běží offline v obyčejném telefonu: 6,9 sekundy řeči za 2,7 sekundy na Pixelu 9a, jen na procesoru. Zvuk nikdy neopustí paměť zařízení.

Hlavní výsledky

Chybovost slov, nižší je lepší; stejné úseky a normalizace pro všechny modely
modelSněmovnaFLEURShlukčísla správně
CzechVoice1,8 %7,3 %6,5 %99,3 %
NVIDIA Canary-1b-v27,5 %8,4 %22,4 %94,8 %
Whisper large-v3-turbo (náš výchozí model)9,5 %11,4 %29,5 %96,5 %
NVIDIA Parakeet-TDT-0.6b-v310,3 %11,9 %25,8 %94,6 %

Sněmovna: testovací část ParCzech4Speech, 729 úseků; FLEURS: česká testovací sada, 723 vět; hluk: úseky ze Sněmovny s dozvukem a šumem davu při odstupu 10 dB. Řeč ze Sněmovny je doména tréninku CzechVoice, nejméně zvýhodněné srovnání je proto FLEURS.

Všechny výsledky a podrobnosti →

Licence vah: zdarma pro nekomerční použití; komerční použití: info@moravian.ai.

ThinCtx: jazykové modely s malou pamětí kontextu

ThinCtx, jazykové modely s malou pamětí kontextu od Moravian AI (stránka s výsledky v angličtině)

Jazykové modely s malou pamětí kontextu · licence PolyForm Small Business

ThinCtx-small: kvalita Qwen3.5 v malé paměti GPU. Modely Qwen3.5 0.8B, 2B a 4B převedené tak, aby paměť GPU pro kontext zůstala malá a rostla zhruba 15–20krát pomaleji než cache originálu, s váhami uloženými na 5,4–6,4 bitu a komprimovaným kontextem v operační paměti. 4B-small při 128k tokenech potřebuje 4,0 GB paměti GPU místo 12,0 GB u originálu a při 540k 4,7 GB místo 24,5 GB, takže na 24GB kartě zvládne kontext, který se s originálem nevejde. Runtime thinctx 1.0 navíc sdílí paměť společného systémového promptu mezi konverzacemi. K dispozici jsou i verze v plné přesnosti.

Paměť na konverzaci, Qwen3.5-4B a ThinCtx-Qwen3.5-4Boriginál: váhy (GPU)originál: KV cache (GPU)ThinCtx: váhy (GPU)ThinCtx: kontext (GPU)ThinCtx: kontext (operační paměť)0 GB5 GB10 GB15 GB20 GB25 GB30 GB128k tokenůQwen3.512,0 GB GPUThinCtx8,9 GB GPU + 4,8 GB RAM--compress_context8,8 GB GPU + 1,9 GB RAMThinCtx-small4,0 GB GPU + 1,9 GB RAM540k tokenůQwen3.524,5 GB GPUThinCtx9,6 GB GPU + 19,8 GB RAM--compress_context9,4 GB GPU + 7,8 GB RAMThinCtx-small4,7 GB GPU + 7,8 GB RAM
Paměť na konverzaci na jedné RTX 3090 (thinctx 1.0.2): plné pruhy jsou váhy, šrafované část kontextu na GPU, světlé kontext v operační paměti. Originál drží celou KV cache na GPU; jeho váhy jsou změřené tak, jak je načte vLLM, a cache je spočítaná z rozměrů modelu. --compress_context spouští model v plné přesnosti s komprimovaným úložištěm kontextu; ThinCtx-small navíc kvantizuje váhy.

Rychlý start

curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env   # only if uv is missing
uv venv --managed-python --python 3.12 ~/thinctx && source ~/thinctx/bin/activate
uv pip install thinctx

thinctx serve moravianai/ThinCtx-Qwen3.5-2B-small --port 8000 --auth user:pass   # OpenAI-compatible server
thinctx chat  moravianai/ThinCtx-Qwen3.5-2B-small                          # chat in the terminal

V Pythonu: thinctx.load("moravianai/ThinCtx-Qwen3.5-2B-small"). Linux x86_64 nebo Windows přes WSL2, s GPU NVIDIA; Triton při prvním spuštění potřebuje gcc. Ve Windows: wsl --install -d Ubuntu-24.04 v PowerShellu jako správce, pak stejné kroky v Ubuntu. Podrobnosti jsou v kartě každého modelu.

Hlavní výsledky

Qwen3.5-4B a 2B proti svým převodům ThinCtx
model
Qwen3.5-4B, originál97,086,245,1
ThinCtx-Qwen3.5-4B95,585,145,1
Qwen3.5-2B, originál9568,542,6
ThinCtx-Qwen3.5-2B8970,442,5
Qwen3.5-2B proti dvěma běžným způsobům, jak omezit paměť kontextu
439596,4
1566,9
376890,2
498996,6

Všechny řádky na týchž položkách se stejným nastavením. Skóre v %. BFCL: kategorie non-live. Vzdálená volání nástrojů: definice nástrojů leží daleko v kontextu.

Všechny benchmarky a podrobnosti (EN) →

Vydání

názevstav
moravianai/ThinCtx-Qwen3.5-4B-smallvolně ke stažení na Hugging Face
moravianai/ThinCtx-Qwen3.5-2B-smallvolně ke stažení na Hugging Face
moravianai/ThinCtx-Qwen3.5-0.8B-smallvolně ke stažení na Hugging Face; nedoporučujeme pro volání nástrojů
moravianai/ThinCtx-Qwen3.5-4Bvolně ke stažení na Hugging Face
moravianai/ThinCtx-Qwen3.5-2Bvolně ke stažení na Hugging Face
moravianai/ThinCtx-Qwen3.5-0.8Bvolně ke stažení na Hugging Face; nedoporučujeme pro volání nástrojů
pip install thinctxruntime se serverem kompatibilním s OpenAI API; od 1.0 sdílí paměť mezi konverzacemi

Licence: PolyForm Small Business 1.0.0 (poskytovatel licence Jan Rosecký): zdarma pro firmy s méně než 100 lidmi a obratem pod 1 milion USD a pro kohokoli k osobnímu nekomerčnímu použití, nekomerčnímu výzkumu a výuce a k vyzkoušení a testování. Produkční použití většími organizacemi vyžaduje komerční licenci: info@moravian.ai.

ThinEmbed: komprimované dotazové enkodéry

ThinEmbed, komprimované dotazové enkodéry od moravian

Komprimované dotazové enkodéry · open source, Apache-2.0

ThinEmbed zkomprimuje dotazovou stranu embedding modelu do malého souboru, který běží v prohlížeči přes WebGPU. Index dokumentů zůstává beze změny a dotaz se zakóduje přímo na zařízení uživatele. Kód, runtime i vydané soubory jsou open source.

Rychlý start

import { loadVqwClient } from 'https://moravian.ai/vqweb/vqweb.js';   // or: npm install @moravian/thinembed-vq

const client = await loadVqwClient(
  'https://huggingface.co/moravianai/ThinEmbed-Qwen3-Embedding-0.6B-vq/resolve/main/qwen3-0.6b-vq3.5d2-webfaq_q-vocfull.vqw');
const q = await client.embed('Kolik stojí parkování v centru Prahy?');   // Float32Array(1024)
// score = dot(q, d) against your Qwen/Qwen3-Embedding-0.6B document vectors

Vyžaduje WebGPU se shader-f16 (Chrome, Edge).

Hlavní výsledky

harrier-0.6b na SciFact, testovací split, 300 dotazů
dotazový enkodérsoubornDCG@10p50 na dotaz
harrier-0.6b, plná přesnost (reference)1 143 MiB (fp16)0,7559–
Q3_K, formát llama.cpp, wllama na WebGPU235,1 MiB0,7481444 ms
IQ2_M, formát llama.cpp, wllama na WebGPU199,3 MiB0,7387508 ms
IQ2_XS, nejmenší formát llama.cpp, nativně177,5 MiB0,7097–
ThinEmbed, 2,1 bitu na váhu, WebGPU119,5 MiB0,7375103 ms
ThinEmbed, 1,8 bitu na váhu, WebGPU105,3 MiB0,7109102 ms

nDCG@10 proti vlastnímu fp32 indexu dokumentů modelu. Řádky z prohlížeče: jeden notebook v klidu, integrovaná GPU Intel, headless Chrome. Řádky ThinEmbed jsou vydané soubory. –: neběželo v prohlížeči. Jedno zařízení, jeden model, jeden korpus.

Všechny benchmarky a podrobnosti →  ·  Demo v prohlížeči

Vydání

vydáníkde
Kód a zprávaGitHub: rosecky/embedding-quantization-public
thinembedPyPI: thinembed
@moravian/thinembed-vqnpm: @moravian/thinembed-vq
moravianai/ThinEmbed-harrier-0.6bThinEmbed-harrier-0.6b · ThinEmbed-harrier-0.6b-vq
moravianai/ThinEmbed-Qwen3-Embedding-0.6BThinEmbed-Qwen3-Embedding-0.6B · ThinEmbed-Qwen3-Embedding-0.6B-vq
moravianai/ThinEmbed-bge-m3ThinEmbed-bge-m3

Kód pod Apache-2.0. Soubory klientů pod licencí svého základního modelu (MIT nebo Apache-2.0).

Kontakt: info@moravian.ai