Böylece şimdi çıkarım için nerede mantıklı hale geleceği, H200'lerimizde neredeyse kuantize edilmiş Q8 Qwen Coder 3 ve Kimi K2 örneklerini sığdırabildik. Kimi K2 @ Q8, bağlam için bir kv cache'e hiç yer bırakmadı. Bu modeller tek bir 8xB200 örneğine sığabilir mi? Muhtemelen, bu hafta bunu deneyeceğiz.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
16 Likes
Reward
16
4
Share
Comment
0/400
NonFungibleDegen
· 3h ago
bu spesifikasyonlarla ngmi fr fr
View OriginalReply0
FlippedSignal
· 3h ago
Bu Q8 de ne kadar berbat!
View OriginalReply0
NotGonnaMakeIt
· 3h ago
Bu optimizasyon işe yaramıyor, kesinlikle çalıştıramıyor.
Böylece şimdi çıkarım için nerede mantıklı hale geleceği, H200'lerimizde neredeyse kuantize edilmiş Q8 Qwen Coder 3 ve Kimi K2 örneklerini sığdırabildik. Kimi K2 @ Q8, bağlam için bir kv cache'e hiç yer bırakmadı. Bu modeller tek bir 8xB200 örneğine sığabilir mi? Muhtemelen, bu hafta bunu deneyeceğiz.