Streszczenie techniczne: Jeszcze dwa lata temu otwarte modele językowe (Open-Weights) pozostawały o 12–18 miesięcy w tyle za zamkniętymi modelami z Doliny Krzemowej, a ich uruchomienie wymagało fortuny na karty NVIDIA H100. Przełom architektur Fine-Grained Sparse Mixture-of-Experts (MoE) (rodziny Qwen3, DeepSeek-V3/R1, Llama 4) oraz kompresji MLA (Multi-Head Latent Attention) całkowicie zmienił fizykę inferencji: model posiadający 235B lub 671B wszystkich parametrów aktywuje dla każdego tokenu zaledwie 22B–37B parametrów, generując tekst z prędkością ponad 90 tokenów na sekundę.
1. Gęste Transformery (Dense) kontra Rzadkie Mixture-of-Experts (Sparse MoE)
W klasycznym, gęstym modelu (np. Llama-3-70B) każda warstwa sieci neuronowej (Feed-Forward Network — FFN) musi przemnożyć wektor wejściowy przez 100% swoich wag przy każdym generowanym słowie. Oznacza to, że koszt obliczeniowy (FLOPs) i wymagana przepustowość pamięci VRAM rosną liniowo wraz z pojemnością wiedzy modelu.
Architektura Fine-Grained Sparse MoE zastosowana w najnowszych modelach Open-Weights rozdziela warstwę FFN na np. N = 256 wyspecjalizowanych mniejszych sieci („ekspertów” — jeden ekspert specjalizuje się w składni SQL, inny w prawie podatkowym, jeszcze inny w arytmetyce zmiennoprzecinkowej). Lekki router uczony razem z siecią wybiera dla każdego tokenu tylko K = 8 najbardziej dopasowanych ekspertów oraz 1 eksperta współdzielonego (Shared Expert):
- Całkowita wiedza w pamięci (Total Parameters): np. 235 miliardów (Qwen3-235B-A22B) lub 671 miliardów (DeepSeek-V3).
- Aktywne wagi liczone na każdy token (Active Parameters): tylko 22 miliardy lub 37 miliardów!
- Auxiliary-Loss-Free Load Balancing: Starsze modele MoE cierpiały na tzw. routing collapse (wszystkie tokeny trafiały do tych samych 2–3 ekspertów, a reszta sieci była martwa). Nowy mechanizm dynamicznego przesunięcia biasu (
γ) wyrównuje obciążenie ekspertów bez pogarszania funkcji straty językowej.
2. Matematyka VRAM i przełom MLA (Multi-Head Latent Attention)
Największym wąskim gardłem podczas wdrażania modeli lokalnie nie są same wagi modelu, lecz pamięć KV-Cache rosnąca gwałtownie wraz z liczbą równoczesnych użytkowników (batch size B) i długością kontekstu (S). Dla klasycznego mechanizmu uwagi (MHA) rozmiar bufora KV-Cache na jeden token wyraża się wzorem:
KV_MHA = 2 × L × n_heads × d_head × precision_bytes
Przełom MLA (Multi-Head Latent Attention) polega na rzutowaniu macierzy kluczy i wartości w dół do niskowymiarowego wektora ukrytego (latent vector c_t^KV ∈ ℝ^d_c, gdzie d_c ≪ n_heads · d_head). Zamiast przechowywać w pamięci VRAM pełne głowice uwagi, silnik inferencyjny trzyma jedynie skompresowany wektor c_t^KV:
- W klasycznym Multi-Head Attention jeden token wymagał ok. 512 KB pamięci KV-Cache.
- W Grouped-Query Attention (GQA — np. Llama 3) spadło to do ok. 64–128 KB na token.
- W Multi-Head Latent Attention (MLA) z kwantyzacją FP8 jeden token zajmuje zaledwie 34–70 KB pamięci VRAM — co pozwala obsłużyć 6-krotnie większą liczbę jednoczesnych zapytań na tej samej karcie graficznej.
3. Kwantyzacja FP8, AWQ i GGUF: Porównanie dokładności i przepustowości
Nowoczesne układy GPU (architektury Ada Lovelace, Hopper, Blackwell) posiadają sprzętowe jednostki Tensor Cores obsługujące format FP8 (E4M3). W przeciwieństwie do agresywnej kwantyzacji 3-bitowej, format FP8 oraz 4-bitowy AWQ (Activation-aware Weight Quantization) zachowują ponad 99.3% oryginalnej jakości modelu (mierzonej przez Perplexity i SWE-bench) przy dwukrotnym lub czterokrotnym zmniejszeniu zapotrzebowania na VRAM:
| Model i format wag | Wymagany VRAM (wagi + 64k kontekstu) | Przepustowość (vLLM / SGLang, batch=16) | Opóźnienie TTFT (4k prompt) | Zachowanie jakości (vs BF16) |
|---|---|---|---|---|
| Qwen3-32B (Dense, AWQ 4-bit) | ~24 GB (1× RTX 4090 / RTX 5090 / L40S) | 640 tok/s | 0.19 s | 99.1% |
| Llama-3.3-70B (Dense, FP8 E4M3) | ~80 GB (1× H100 80GB lub 2× L40S 48GB) | 510 tok/s | 0.28 s | 99.8% |
| Qwen3-235B-A22B (MoE, AWQ/FP8) | ~135 GB (2× H100 / 2× H200 / 4× L40S) | 1 120 tok/s | 0.22 s | 99.6% |
4. Produkcyjna konfiguracja serwera SGLang / vLLM z RadixAttention
Drugim filarem rewolucji Open-Weights są silniki uruchomieniowe: vLLM oraz SGLang. Wprowadzony w SGLang algorytm RadixAttention utrzymuje drzewo prefiksów (Radix Tree) wszystkich zapytań w pamięci GPU, automatycznie współdzieląc wspólne fragmenty promptów między różnymi procesami roboczymi, a wbudowany XGrammar / Outlines (Constrained Decoding) wymusza na poziomie masek logitów generowanie w 100% poprawnego formatu JSON zgodnego ze schematem:
# Przykład produkcyjnego uruchomienia silnika vLLM z natywnym FP8 KV-Cache,
# automatycznym buforowaniem prefiksów i obsługą wywołań narzędzi (Tool Calling):
vllm serve Qwen/Qwen3-32B-Instruct-FP8 \
--tensor-parallel-size 2 \
--quantization fp8 \
--kv-cache-dtype fp8_e4m3 \
--enable-prefix-caching \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--max-model-len 65536 \
--gpu-memory-utilization 0.925. Kiedy własny model Open-Weights wygrywa z komercyjną chmurą AI?
- Bezwzględne wymogi tajemnicy przedsiębiorstwa i regulacji (DORA, NIS2, KNF, NDA): Gdy dokumenty prawne, dokumentacja medyczna lub tajne kalkulacje marżowe pod żadnym pozorem nie mogą opuścić sieci LAN / prywatnego VPC firmy.
- Wysoki wolumen powtarzalnych zadań (OCR, klasyfikacja, ekstrakcja JSON): Przy przetwarzaniu powyżej 15–20 milionów tokenów dziennie (np. automatyczna analiza tysięcy faktur, e-maili spedycyjnych i ofert) dedykowany węzeł GPU zwraca się w ciągu 3–5 miesięcy w porównaniu z opłatami za tokeny w chmurze.
- Architektura hybrydowa (Best of Both Worlds): Najbardziej dojrzałe organizacje łączą lokalny model 32B/MoE (do szybkiej anonimizacji PII, klasyfikacji i zapytań wewnętrznych) z chmurowymi modelami Frontier (Claude / GPT) wywoływanymi wyłącznie na zanonimizowanych danych.