Технічне резюме: Ще два роки тому відкриті мовні моделі (Open-Weights) відставали на 12–18 місяців від закритих хмарних гігантів. Прорив архітектур Fine-Grained Sparse Mixture-of-Experts (MoE) (родин Qwen3, DeepSeek-V3/R1, Llama 4) та компресії MLA (Multi-Head Latent Attention) повністю змінив фізику локального інференсу: модель із 235B або 671B параметрів активує для кожного токена лише 22B–37B параметрів, генеруючи понад 90 токенів за секунду на власних серверах.
1. Щільні трансформери (Dense) проти розріджених Mixture-of-Experts (Sparse MoE)
Архітектура Fine-Grained Sparse MoE розділяє шар FFN на N = 256 спеціалізованих мікро-експертів і маршрутизує кожен токен лише до K = 8 найкращих експертів та 1 спільного експерта. Завдяки Auxiliary-Loss-Free Load Balancing модель зберігає 100% глибини знань при витратах обчислень рівня малої моделі.
2. Математика VRAM та прорив MLA (Multi-Head Latent Attention)
Проєктування матриць ключів і значень у низьковимірний латентний вектор (c_t^KV ∈ ℝ^d_c) зменшує обсяг KV-Cache з 512 КБ до 34–70 КБ на токен у форматі FP8, що дозволяє обслуговувати у 6 разів більше одночасних запитів на тій самій відеокарті.
3. Квантування FP8, AWQ та GGUF: Порівняння точності й продуктивності
| Модель і формат ваг | Необхідний VRAM (ваги + 64k контексту) | Пропускна здатність (vLLM / SGLang, batch=16) | Затримка TTFT (4k промпт) | Збереження якості (vs BF16) |
|---|---|---|---|---|
| Qwen3-32B (Dense, AWQ 4-bit) | ~24 GB (1× RTX 4090 / RTX 5090 / L40S) | 640 tok/s | 0.19 s | 99.1% |
| Llama-3.3-70B (Dense, FP8 E4M3) | ~80 GB (1× H100 80GB або 2× L40S 48GB) | 510 tok/s | 0.28 s | 99.8% |
| Qwen3-235B-A22B (MoE, AWQ/FP8) | ~135 GB (2× H100 / 2× H200 / 4× L40S) | 1 120 tok/s | 0.22 s | 99.6% |
4. Продуктивна конфігурація сервера vLLM із FP8 KV-Cache
vllm serve Qwen/Qwen3-32B-Instruct-FP8 \
--tensor-parallel-size 2 \
--quantization fp8 \
--kv-cache-dtype fp8_e4m3 \
--enable-prefix-caching \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--max-model-len 65536 \
--gpu-memory-utilization 0.925. Коли власна модель Open-Weights виграє у комерційної хмари AI?
- Суворі вимоги конфіденційності (NDA, фінансові та юридичні дані): коли документи не можуть залишати межі приватної мережі компанії.
- Великі обсяги обробки документів (OCR рахунків, ТТН, митних декларацій): при обсягах понад 15–20 млн токенів на добу власний GPU-сервер окупається за 3–5 місяців.