Отже, тепер, де це має сенс для висновків, ми ледь вміщуємо квантовані Q8 Qwen Coder 3 та Kimi K2 на наших H200. Kimi K2 @ Q8 не залишила місця для кешу kv для контексту. Чи можуть ці моделі вміститися на одному 8xB200 екземплярі? Напевно, ми спробуємо цього тижня.

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.